Yapay Zeka Tespitinde Token Olasılığı ve Log-Olasılık

Bir dedektöre o puana nasıl ulaştığını sorarsanız, kullanıcı arayüzlerinin çoğu size aynı yanıtı verir: bazı sözcükleri diğerlerinden daha koyu gölgelenmiş bir paragraf. Bu gölgeleme bir tahmin değildir. Geçitteki her tokena eklenmiş bir sayıdan gelir, dedektör perplexity, burstiness ya da nihai bir yüzdeye hiç dokunmadan önce hesaplanır.

Bu bir token olasılığıdır ve her token probability ai detection bunun üzerine, en temelden başlayarak kurulur. Bir dedektörün raporlayacağı herhangi bir metrik sayısı, bu sayılardan oluşan bir dizi üzerinde yapılan aritmetikten ibarettir, buna bu sitede başka yerde ele aldığımız iki metrik de dahildir. Çoğu açıklamanın durduğu katmanın altındaki katman, bir tokenın gerçekte ne olduğunu, modelin onun üzerindeki dağılımının ne anlama geldiğini ve aritmetiğin neden ham olasılık yerine log uzayında işlediğini düşünmeniz gereken yerdir. Çoğu açıklama burada durur.

Bunların hiçbirinin kapalı kalması gerekmez. Bir token, bir olasılık dağılımı ve bir logaritma sıradan araçlardır, özel sırlar değil, ve aynı üç fikir AI dedektörlerinin gerçekte nasıl çalıştığını, ham metinden rapordaki tek bir sayıya kadar açıklar.

Token Probability AI Detection: Dağılımdan Puana

Token probability ai detection üç aşamada çalışır. Bir dil modeli, kendinden önce gelenlere dayanarak olası her sonraki tokena bir olasılık atar. Token başına bu olasılıklar logaritmalara dönüştürülür ve geçit boyunca toplanır, bu da ham çarpmanın neredeyse hemen karşılaştığı sayısal bir sorunu aşar. Ortaya çıkan toplam, ortalaması alınmış ve yeniden ölçeklendirilmiş halde, sonunda bir perplexity değeri olarak görünür ya da bir sınıflandırıcının kararını besler. Her aşama, kara kutu değil, belirli ve denetlenebilir bir aritmetik parçasıdır.

Bir Token Gerçekte Nedir

Bir token bir kelime değildir. Modern dil modelleri, byte-pair encoding gibi bir algoritma ile metni alt kelime parçalarına ayırır, bu yüzden 'the' gibi yaygın bir kelime genellikle bir token olur, 'perplexity' gibi daha az yaygın bir kelime iki ya da üç parçaya bölünür ve yabancı bir ad tek tek karakterlere kadar parçalanabilir. Sıradan İngilizce bir pasaj, güvenilir biçimde, içerdiği kelime sayısından daha fazla parçaya tokenlaştırılır, bu da bir aracın size geri bildirdiği herhangi bir kelime sayısına güvenmeden önce bilinmesi gereken bir durumdur.

Model, kelimeleri bir okurun gördüğü şekilde asla görmez. Sabit bir sözlük içinde, modelin eğitim aldığı bir dizin olan, her biri bir tamsayıdan oluşan bir dizi görür. token probability ai detection bu noktadan sonra ne yaparsa yapsın, özgün harf dizisi üzerinde değil, bu tamsayı dizisi üzerinde işler, bu da bir dedektörün iç işleyişinin neden bir kişinin bir cümleyi gerçekten okuma biçiminden kopuk görünebildiğinin bir parçasıdır.

Modelin Bir Sonraki Token Üzerindeki Dağılımı

Bir dizideki her konumda, otoregresif bir dil modeli tek bir tahmin üretmez. Tüm sözlüğü boyunca tam bir olasılık dağılımı üretir, bu da on binlerce sayının toplamının bire eşit olduğu, kendisinden önce gelen her şey verildiğinde her olası sonraki tokenı en olasıdan en az olasıya doğru sıraladığı anlamına gelir. Bir modele 'the results of the' ifadesini verin, o da bu olasılık kütlesinin büyük kısmını 'study,' 'experiment,' 'analysis,' gibi birkaç makul isme dağıtır, buna karşılık 'marmalade.' gibi bir şeye yok denecek kadar küçük bir pay atar.

Gerçek bir belgede gerçekten bir sonraki görünen token, bu sıralamada bir yere düşer ve ona atanan olasılık, geri kalan her şeyin üzerine kurulduğu ham malzemedir. Kendi metnini üreten bir model bu dağılıma doğrudan yaslanabilir, tekrar tekrar en üsttekilere yakın seçenekleri seçebilir. Başkasının tamamlanmış metnini okuyan bir dedektör ise yalnızca sonradan, modelin gerçekten yapılan seçime ne kadar olasılık atamış olacağını sorabilir.

Tüm bir dizinin olasılığı, her belirtecin kendisinden önce gelen her şey verildiğinde sahip olduğu olasılıkların çarpımıdır, bu belirteç başına soru, ortak olasılık için standart kural kullanılarak bütün bir belge boyunca zincirlenirse, ortaya çıkan son sonuç, tüm pasajın ne kadar beklenen olduğunu tanımlayan tek bir sayıdır. Bu çarpım, aritmetiğin bozulmaya başladığı yerdir, bu yüzden bir sonraki bölüm vardır.

Log-Olasılık Neden Ham Olasılığın Yerini Alır

Olasılıkları birbirleriyle çarpmak matematiksel olarak doğrudur ve birkaç düzine belirteçten sonra pratikte işe yaramaz. Her bir olasılık birden küçük bir kesirdir, bu yüzden birikimli çarpım, başka bir belirteç çarpıldıkça her seferinde küçülür ve hızlı küçülür. Birkaç yüz belirteç sonra, ham çarpım bir bilgisayarın temsil edebileceği en küçük sayının çok altına düşebilir ve tam olarak sıfıra yuvarlanır, bu hata kipine underflow denir.

Bu olduğunda, sayı hiçbir bilgi taşımaz. Sadece olası olmayan bir belge ile son derece, kaotik biçimde olası olmayan bir belge, sonrasında birbirinden ayırt etmenin hiçbir yolu olmaksızın, aynı sıfıra çöker. Logaritmalar bunu düzeltir, çünkü bir çarpımın logaritması, logaritmaların toplamına eşittir, bu temel cebirden gelen bir özdeşliktir. Sıradan negatif sayıların bir dizisini toplamak, küçük kesirlerin bir dizisini çarpmak gibi underflow oluşturmaz ve ayrıca hesaplaması daha ucuzdur.

Pasaj uzunluğu (örnek)	Ham olasılık, birikimli çarpım	Log-olasılıkların toplamı
Her biri örnek olarak 0.1 olan 12 belirteç	1 x 10 to the power of -12, hâlâ temsil edilebilir	yaklaşık -27.6
Her biri örnek olarak 0.1 olan 350 belirteç	1 x 10 to the power of -350, tam olarak 0'a underflow olur	yaklaşık -805.9

Bu, basitleştirilmiş bir örnektir. Gerçek token başına olasılıklar, düz bir 0.1 değerinde sabit kalmak yerine son derece değişkenlik gösterir, ancak sorunun yönü tam olarak doğrudur. Ham bir çarpım sıfıra taşarak alt taşma yaşadığında, bir dedektörün gerçekten ihtiyaç duyduğu karşılaştırma, yani bu belgenin o belgeden daha mı yoksa daha az mı beklenir olduğu, imkansız hâle gelir. Log-olasılıkların toplamı bu şekilde asla başarısız olmaz. Parçanın uzunluğu ne kadar artarsa artsın, kesin, sıradan ve karşılaştırılabilir bir sayı olarak kalır, detectability'nin ham olasılık uzayı yerine neden log uzayında ölçüldüğünün asıl nedeni de budur.

Token Başına Puanlardan Bir Tespit Puanına

Bir parça boyunca log-olasılıkların toplanması, referans model altında belgenin toplam log-olabilirliğini üretir. Bunu token sayısına bölmek, uzunluğun etkisini ortadan kaldırır ve token başına ortalama log-olabilirliği bırakır, bu da nihayet beş yüz kelimelik bir deneme ile beş bin kelimelik bir tez bölümü arasında karşılaştırılabilir bir sayıdır. Bu ortalamayı negatif işaretle çevirip üstelini aldığınızda ortaya perplexity puanı çıkar, bu metrik bu kümede perplexity'nin gerçekte neyi ölçtüğüne dair ayrı bir incelemede bütünüyle ele alınmaktadır.

Aynı cümle başına düşen değerler, tek bir ortalamaya düzleştirilmek yerine bir belge boyunca değişkenlik açısından izlendiğinde, burstiness'in neye dayandığıdır, perplexity'den ilişkili ama ayrı bir sinyaldir. Her ikisi de yukarıda açıklanan aynı token başına sayılardan başlar. Sadece bunların üzerinde farklı aritmetik işlemler yaparlar.

Basit bir ortalama, bu ham malzemeyi kullanmanın tek yolu değildir ve araştırma bunun çok ötesine geçmiştir. ICML 2023'te Mitchell, Lee, Khazatsky, Manning ve Finn tarafından yayımlanan DetectGPT, aynı olasılık fonksiyonunun farklı bir özelliğinden hareket eder: bir dil modelinden örneklenen metin, küçük yeniden ifade etmelerin log-olasılığı yükseltmek yerine düşürdüğü bir bölgede bulunma eğilimindedir, makalenin negative curvature adını verdiği bir örüntü.

Bir sınıflandırıcı eğitmek ya da bir filigran kullanmak yerine, bu yöntem bir pasajı bozar, yeniden ifade ediliş biçiminde küçük değişiklikler üretir ve ardından her bir varyasyonu aynı modelle yeniden puanlar. Makale bunu en iyi zero-shot temel çizgiyle karşılaştırır ve 20 milyar parametreli bir model tarafından üretilen metin üzerinde bu yöntemin 0.95 AUROC elde ettiğini, en iyi zero-shot temel çizginin ise 0.81 AUROC elde ettiğini bulur.

Aynı Dağılım, Algılamak Yerine Filigranlamak İçin Kullanılır

Şimdiye kadar her şey, olasılık dağılımını sonradan okunan bir şey olarak ele aldı. O, üretim anında da müdahale edilebilir, bu da problemi bütünüyle tersine çevirir. Kirchenbauer, Geiping, Wen, Katz, Miers ve Goldstein tarafından geliştirilen 2023 tarihli bir yöntem, her kelime üretilmeden önce, öncesinde gelenlerin bir hash'ine dayanarak izin verilen tokenlardan oluşan rastgeleleştirilmiş bir kısa liste seçer ve örneklemeyi yumuşak biçimde bu kısa listeye yönlendirir. Bu yanlılık bir okuyucu için görünmezdir ve daha sonra, özgün modele erişim gerektirmeden, kısa bir metin parçası üzerinde yapılan istatistiksel bir testle geri kazanılabilir.

Google DeepMind'in SynthID'si bu fikrin bir sürümünü üretime koyar, üretim zamanında sonraki token olasılık puanlarını ayarlar ve bugün Gemini uygulamasında ve web deneyiminde aktiftir. OpenAI karşılaştırılabilir bir sistem geliştirdi ve bunu yayımlamadı. Habercilik, kararı kısmen, ChatGPT kullanıcılarının yaklaşık yüzde 30'unun filigranlamanın ürünü daha az kullanmalarına yol açacağını söylediği bir ankete ve bir filigranın yeniden ifade etme karşısında ne kadar iyi dayanacağına ilişkin kaygılara dayandırır.

Bir algılayıcının raporu gölgeli bir kelime ya da tek bir yüzde gösterir ve orada durur, bunların geldiği dağılımı hiçbir zaman göstermez. TextPulse'un ücretsiz perplexity denetleyicisi, aynı token başına puanlamanın basitleştirilmiş bir sürümünü kendi taslağınıza uygular, bu da bir pasajın nerede durduğunu bir hükmü dolaylı yoldan okumaktan daha doğrudan bir biçimde görmenin yoludur.

İki komşu sayfa bunu ele alır. Algılayıcıların hâlâ burstiness'e dayanıp dayanmadığı 2023'ten beri değişmiştir ve GPTZero'nun bu aynı olasılıkları nasıl bir puana dönüştürdüğü kendi sayfasında açıklanmaktadır.

Bu, TextPulse'un geri kalan ücretsiz araçları ile birlikte yer alır, böylece aynı taslak, bunu yapmak için bir düzine ayrı sekme açmadan, sözcük düzeyindeki öngörülebilirliğin yanı sıra ritim ve yapı açısından da kontrol edilebilir.