AI Dedektörleri Nasıl Çalışır? Perplexity, Burstiness ve Token Olasılığı

Üniversiteniz, gönderimleri bir AI detector üzerinden çalıştırmaya başladı ve size beklemediğiniz bir sayı içeren bir rapor döndü. Buna itiraz etmeye çalışmadan önce, o sayının ne anlama geldiğini bilmek yararlıdır. AI detector nasıl çalışır? Bunlar, makine tarafından yazılmış metni bir insanın yaptığı gibi okumaz. Metninizin bir language model için ne kadar öngörülebilir olduğunu ölçer, sonra bu öngörülebilirliği bir skora dönüştürür. Bu süreçte hiçbir şey, ne demek istediğinize, argümanınıza ya da gerçekten bunu siz yazıp yazmadığınıza bakmaz.

Yıllarımı metni istatistiksel olarak parçalara ayıran araçlar geliştirmeye harcadım ve detection hakkında anlaşılması en yararlı tek şey şudur: bu, kökene değil, tipik olma düzeyine ilişkin bir ölçümdür. Bu kavrandığında, hem teknoloji hem de onun başarısızlıkları çok daha anlamlı hale gelir.

Bir detector aslında neyi ölçüyor

Bir detector, herhangi bir şeyi kimin yazdığını bilmez. Elinde bir language model ve bir scoring function vardır. Model, metninizi soldan sağa okur ve her noktada sıradaki kelimenin ne olması gerektiğine dair bir olasılık dağılımı üretir. Ona "the results of the" kelimelerini verin, "study"yi en üstte, "experiment"i biraz daha aşağıda ve "marmalade"i sıfıra yakın bir yerde sıralar.

Bu yüzden detector belgenize tek bir soru sorar: bu metin, modelin beklediği kelimeyi ne sıklıkla seçti? Yüksek olasılıklı kelimelere sürekli yönelen yazı, makine tarafından üretilmiş gibi görünür, çünkü bir text generator tam olarak bunu yapar. Model, kendi dağılımının en üst kısmından, binlerce token boyunca tekrar tekrar örnekleme yapar.

Bu nedenle, bütün kategori pazarlamanın ima ettiğinden daha zayıf bir zemindedir. Bir detector, bir watermark ya da bir fingerprint bulmaz. Yalnızca nesrinizin istatistiksel olarak şaşırtıcı olmadığını fark eder ve şaşırtıcı olmayan nesrin, bir chatbot dışında da birçok nedeni vardır.

Perplexity: modelin ne kadar şaşırdığı

Ana ölçüt perplexity olarak adlandırılır, ve göründüğünden daha kolaydır. Modelin gerçekten görünen her kelimeye atadığı olasılığı alın, bu olasılıkların logaritmalarının ortalamasını hesaplayın ve sonucu üstel fonksiyona yükseltin. Ortaya çıkan şey, modelin belgeniz karşısında ne kadar şaşırdığını anlatan tek bir sayıdır. Tahmin etmek yerine kendi taslağınızın perplexity değerini kontrol edebilirsiniz.

Düşük perplexity, metnin modelin beklediği yönde ilerlediği anlamına gelir. Yüksek perplexity, modelin beklemediği dönüşleri almaya devam ettiği anlamına gelir. İnsan yazısı genellikle daha yukarıda yer alır, çünkü insanlar alışılmadık belirli bir isme, sıra dışı bir yapıya, beklenmedik bir yerden başlayan cümleye yönelir. Üretilen metin genellikle daha aşağıda yer alır, çünkü çözümleme süreci tam da bu tür hamlelerden kaçınacak biçimde kuruludur.

Bir yöntemler bölümüne başlama biçimlerinden ikisini karşılaştırın. "The results of the study were statistically significant" neredeyse her modelin yüksek güvenle tahmin edeceği bir dizidir, çünkü beklenmedik hiçbir bilgi taşımaz. "Two of the three cohorts drifted before week six, which we had not planned for" ise çok daha az öngörülebilirdir, çünkü makalenin geri kalanından tahmin edilemeyecek, belirli ve zorlayıcı bir bilgi taşır. İkinci ifade, algılayıcıya gerçek bir şaşkınlık maliyeti yükler, ve bu şaşkınlık insan olarak kaydedilen şeydir.

Burstiness: ortalama değil, varyans

Perplexity tek başına yeterli değildir, çünkü bir belge ortalamada son derece makul bir sayıya ulaşırken, altında kuşkulu biçimde tekdüze olabilir. Önemli olan, metniniz boyunca görülen değişimdir, ve burstiness tam da bunu ölçer: yazı ilerledikçe cümle uzunluğunun ve cümle düzeyindeki perplexity değerinin ne kadar dalgalandığını. Bir burstiness checker bu yayılımı doğrudan gösterir.

Güven duyduğumuzda hızlanır, temkinli davrandığımızda yavaşlarız, ve bu ritim düzyazıya da taşınır. İnsanlar patlamalar halinde yazar. Bir paragraf sekiz kelimelik kısa, bildirimsel bir cümleyle başlayabilir, üç yan cümle ve bir ara tümce taşıyan otuz dört kelimelik bir cümleye uzanabilir, sonra yeniden kısa ve tempolu bir ifadeye dönebilir.

Model çıktısı bunu güvenilir biçimde yapmaz. Cümleler ortalama uzunluğun çevresinde kümelenir. Paragraflar düzenli paketler halinde gelir. Her bölüm, kendi başlığını yeniden ifade ederek başlar. Akıcı okunur ve düşük puan alır, çünkü cümleler arasındaki düşük varyans, bir dedektörün sahip olduğu en güçlü sinyallerden biridir. Ele veren tek bir cümle değildir. Tekdüzeliktir.

Sinyal	Ne ölçer	Neden makine metni düşük puan alır
Perplexity	Modelin sözcük seçimleriniz karşısında ne kadar şaşırdığı, belge genelinde ortalanmış olarak	Çözümleme, tasarım gereği yüksek olasılıklı tokenlardan örnekler
Burstiness	Cümle uzunluğunun ve öngörülebilirliğin metin boyunca ne kadar değiştiği	Çıktı, salınım yapmak yerine ortalama çevresinde kümelenir
Token probability	Diğer iki ölçütün hesaplandığı, kelime başına olasılık	Bireysel olarak dikkat çekmeyen seçimlerin uzun dizileri

Token probability ve puanın nereden geldiği

Bu iki sayı, üçüncü bir sayıdan, token başına log-olabilirlikten, yani geri kalan her şeyin hesaplandığı ham malzemeden oluşturulur. Bazı araçlar bunu doğrudan gösterir, metninizin en öngörülebilir olduğu bölümleri vurgular. Arayüz ne ima ederse etsin, bu vurgular belirli cümlelere ilişkin suçlamalar değildir. Bunlar, belge düzeyindeki bir sayıya en çok katkıda bulunan parçalardır.

Araştırma yaklaşımları basit eşiklerin ötesine geçmiştir. DetectGPT ve onun ardılları eğriliğe bakar, metninizi hafifçe bozar ve ardından olasılığın, üretilmiş metnin gösterme eğiliminde olduğu örüntüde düşüp düşmediğini kontrol eder. Diğerleri aynı pasajı iki farklı model altında karşılaştırır ve uyuşmazlığı bir sinyal olarak kullanır.

Bir sonuç, değerlendirilen herkes için önemlidir. Ölçütler belirli bir referans modele göre hesaplandığından, bir puan her zaman o modele göredir. İki dedektör aynı paragrafı okuyup tamamen farklı sonuçlara varabilir ve ikisi de arızalı değildir. Aynı soruya farklı referans noktalarıyla yanıt verirler.

İkinci sonuç daha az sıklıkla belirtilir. Bir model ancak bir pasaj, üzerinde eğitildiği şeye benziyorsa o pasajı öngörülebilir bulabilir, bu yüzden referans model ile metni üreten şey arasındaki fark açıldıkça tespit kalitesi düşer. Daha yeni üreticiler, alışılmadık disiplinler ve İngilizce dışındaki diller bu farkı büyütür. Kontrollü bir ölçüt üzerinde ölçülen doğruluğun gerçek bir başvuru yığınıyla karşılaştığında nadiren ayakta kalmasının nedenlerinden biri budur.

Ticari dedektörlerin bunun üzerine eklediği şey

Kurumların gerçekten satın aldığı araçlar ders kitabı perplexity çalıştırmaz. Turnitin, GPTZero, Originality ve diğerleri, insan ve makine metinlerinden oluşan büyük etiketli kümeler üzerinde denetimli sınıflandırıcılar eğitir, istatistiksel özellikleri üslup özellikleriyle birlikte kullanır. Sınıflandırıcının öğrendiği şey, eğitim verisinde bu iki yığını birbirinden ayıran her neyse odur, bu da genel olarak "AI writing"den daha dar ve daha tarihsel bir şeydir.

Eğitim bağımlılığı sessiz sorundur. Öncelikle bir model çıktısı kuşağı üzerinde eğitilmiş bir sınıflandırıcının, daha yeni modellere, aşina olmadığı disiplinlere ve İngilizcesi kendi eğitim dağılımına benzemeyen yazarlara genelleme yapması gerekir. Sağlayıcılar kendi değerlendirmelerinden doğruluk oranları yayımlar ve bağımsız ölçütler aynı araçlarda düzenli olarak bu sayıların oldukça altında sonuç verir.

Bir skoru aşırı yorumlamadan okumak

Bir dedektör raporu genellikle bir yüzde olarak gelir ve bu yüzde düzenli biçimde yanlış okunur. Bu, belgenizin makine tarafından yazılmış kısmının oranı değildir. Araca bağlı olarak bu, bir sınıflandırıcı güveni ya da bazı iç eşikleri aşan cümlelerin payıdır ve sağlayıcılar çoğu zaman hangisi olduğu konusunda belirsiz konuşur. Her ikisi de yüzde altmış gösteren iki rapor, oldukça farklı şeyler ifade edebilir.

Bir puanı, onu kimin yazdığıyla hiçbir ilgisi olmayan nedenlerle neyin değiştirdiğini bilmek de önemlidir. Kısa belgeler daha gürültülüdür, çünkü ortalamaların oturması için daha az metin vardır ve beş yüz kelimelik bir deneme, iki ya da üç alışılmadık cümlenin etkisiyle büyük ölçüde değişebilir. Alıntılanan materyal de, araç onu ayıklamadıkça, hesaba katılır, bu yüzden blok alıntılarla dolu bir literatür taraması, alıntıladığı her şeyin öngörülebilirliğini devralır. Standart terminolojiyle yüklü teknik bir pasaj da aynı şekilde davranır.

Eğer bir uyarının muhatabıysanız, yararlı tepki ölçüt hakkında bir tartışma değil, kanıttır. Sürüm geçmişi, taslaklar, notlar ve arama kayıtları sürece işaret eder, ve bir uygunsuzluk kurulu gerçekten yalnızca süreci değerlendirebilir. Dikkatli bir yazarı bir modelden ayıran bir eşik olduğunu kimsenin gösterebileceği bir sınır yoktur.

Dedektörler neden hiçbir modelin üretmediği yazıyı işaretler

Yanlış pozitifler nadir bir arıza değildir. Doğrudan tipikliği ölçmekten kaynaklanırlar. Gerçekten öngörülebilir olan herhangi bir yazı, onu kimin ürettiğinden bağımsız olarak öngörülebilir diye puanlanacaktır.

Anadili İngilizce olmayan yazarlar en çok etkilenir. Stanford araştırmacıları, dedektörlerin anadili İngilizce olmayan konuşmacıların denemelerinin büyük bir bölümünü makine tarafından üretilmiş olarak yanlış sınıflandırdığını, buna karşılık anadili İngilizce olan konuşmacıların denemelerini doğru sınıflandırdığını buldu. Bunun nedeni kötü niyetli olmaktan çok mekaniktir, ikinci bir dilde çalışan yazarlar iyi bilinen yapılara ve daha yaygın bir kelime dağarcığına dayanma eğilimindedir. Bu, düşük perplexity profilinin tam karşılığıdır, bu yüzden ESL yazarları dikkatli yazdıkları için işaretlenir.

Akademik gelenekler aynı soruna yol açar. Bir yöntemler bölümünün kalıplaşmış olması beklenir. Hukuki yazım, teknik dokümantasyon ve klinik raporlama, yaratıcı ifadeden çok standart ifadeyi ödüllendirir. Yoğun düzenleme bunu daha da artırır, çünkü bir taslağı cilalamak genellikle istatistiksel imzanızı taşıyan düzensizlikleri kaldırmak anlamına gelir.

Kuruluşlar bunu fark etti. Vanderbilt, doğrulayamadığı puanlara dayanmak yerine Turnitin'in AI tespit özelliğini devre dışı bıraktı ve diğer üniversiteler, sayıların usulsüzlük süreçlerinde nasıl kullanılabileceğini sınırladı. Bir tespit aracının puanını, bir hüküm değil, zayıf bir kanıt parçası olarak değerlendirin.

Bunun kendi yazınız açısından anlamı nedir

Mekanikten çıkan pratik tavsiye sıra dışı değildir ve bunların hiçbiri herhangi bir şeyi kandırmayı içermez. Cümle uzunluğunuzu bilinçli olarak çeşitlendirin, çünkü tekdüzelik kayda geçen şeydir. Belirli ayrıntıyı koruyun, gerçek sayıyı, gerçek sınırlamayı, altıncı haftada yanlış giden şeyi. Genel yeterlilik, makine tarafından üretilmiş olarak puanlanan şeydir ve özgüllük hem daha iyi yazıdır hem de daha güçlü bir işarettir.

Kendi üslubunuzu da koruyun. Bir şeyi ifade etme biçiminiz varsa, onu bırakın. Bir taslağı, alandaki diğer her makale gibi duyulana kadar zımparalama dürtüsü, perplexity değerinizi düşüren dürtüdür.

Kaçınılması gereken bir şey var, bazı araçlar perplexity değerini yükseltmek için kasıtlı olarak dilbilgisi hataları ekler. Bu, ölçütte işe yarar ve notlandırılan ya da hakem değerlendirmesinden geçen herhangi bir şey için çok kötü bir fikirdir, çünkü bir şüpheyi bir kesinlikle değiş tokuş etmiş olursunuz. Amaç, sizin yazınız olarak okunan bir metindir, kasıtlı olarak zarar verilmiş bir metin değil. İnsan okur için yeniden yazma ile bir puanlayıcıyı kandırmak için metni bozma arasındaki bütün fark budur.

Bu sayıları, kara kutunun sözüne güvenmek yerine kendi taslağınız için görmek istiyorsanız, temel ölçümler gizli değildir. Ücretsiz metin analiz araçları, düzyazınızın nerede durduğunu gösterecektir ve düz kalan bölümlerin düzeltilmeye değer bir üslup sorunu olup olmadığına kendiniz karar verebilirsiniz.