Yapay Zeka Tespitinde Perplexity Nedir?

Perplexity ve AI detection birlikte arandığında, en üst sonuçların birkaçı alakasız bir ürüne, aynı zamanda Perplexity adını taşıyan yapay zeka destekli bir arama motoruna çıkmaktadır. Bir dedektörün gerçekten raporladığı ölçüt, bu şirketle yalnızca kelime düzeyinde ortaklığa sahiptir. Bu ölçüt, GPTZero ya da arama motorundan onlarca yıl daha eski olan konuşma tanıma araştırmalarından gelir ve bunların her ikisinden de daha dar bir şeyi ölçer, yani bir dil modelinin sayfada zaten bulunan sözcükler karşısında ne kadar şaşırdığını.

Peki AI detection bağlamında perplexity nedir? Perplexity, bir dil modelinin bir pasajdaki tam sözcükleri ne kadar iyi tahmin ettiğini betimleyen bir puandır, modelin kendi olasılıklarının ortalaması alınarak ve sonuç tek bir sayıya dönüştürülerek elde edilir. Düşük bir puan, modelin doğru tahmin etmeyi sürdürdüğü anlamına gelir. Yüksek bir puan, modelin şaşırmayı sürdürdüğü anlamına gelir.

Bu fikir, piyasadaki herhangi bir AI detector'dan daha eskidir ve tek başına bir belgenin kimin tarafından yazıldığı hakkında hiçbir şey söylemez. Sayının arkasındaki aritmetik görünür hale geldiğinde, bir rapordaki puan bir hüküm gibi görünmeyi bırakır ve gerçekte ne ise öyle görünmeye başlar, yani sözcük seçiminin bir betimi olarak.

AI detection bağlamında perplexity nedir?

Perplexity, dil modellemesinden ödünç alınmış bir ölçümdür. Bir modelin bir pasajda yer alan belirli sözcükleri ne kadar iyi tahmin ettiğini puanlar ve bu puanı tek bir sayı olarak raporlar. Dedektörler aynı ölçümü sunulan bir belgeye uygular, yani modelin tahminlerinin gerçek sözcüklerle yakından örtüştüğü düşük bir sayı makine yazarlığının işareti olarak okunur, yüksek bir sayı ise insan yazarlığının işareti olarak okunur. Hesaplamanın hiçbir yönü belgenin argümanını, atıflarını ya da konu alanını okumaz. Yalnızca her bir sözcüğün ne kadar beklenen olduğunu, tek tek okur.

Dedektörler bu ölçümü icat etmedi. Konuşma tanıma ve makine çevirisi sistemlerinin, bir modelin sıradan dili ne kadar iyi tahmin ettiğini değerlendirmek için onlarca yıldır kullandığı bir aracı ödünç aldılar ve onu, başlangıçta asla bunun için tasarlanmamış bir görev olan yazarlık için bir vekil ölçüt olarak yeniden amaçlandırdılar.

Bunun hiçbiri, daha önce anılan ilgisiz arama motoruyla ilgili değildir. Bir dedektörün bildirdiği perplexity hiçbir zaman bir şirket değildir ve hiçbir zaman büyük harfle yazılmaz: bu, bir sözcük dizisinin sade bir istatistiksel özelliğidir, kendisine verilen herhangi bir metinden yeniden hesaplanır.

Perplexity gerçekte nasıl hesaplanır

Hesaplama, herhangi bir AI ürününden daha geriye gider. Frederick Jelinek, Robert Mercer, Lalit Bahl ve James Baker, 1977 yılında perplexity kavramını, istatistiksel bir model için bir konuşma tanıma görevinin ne kadar zor olduğunu ölçmek amacıyla ortaya koydu, bu terim bir denemeye ya da bir laboratuvar raporuna uygulanmadan onlarca yıl önce. Tanım o zamandan beri değişmedi.

Bir belgenin her konumunda, model gerçekten sonra gelen sözcük için bir olasılık üretir, yaygın bir geçiş için 0.72 ya da alışılmadık bir geçiş için 0.03 gibi. Perplexity, bu olasılıkların logaritmalarını tüm pasaj boyunca ortalar, sonra ortalamayı bir üstel ile tersine çevirir.

Buradaki üstel, göründüğünden daha fazlasını yapar. Log olasılıkları ortalamak, cross-entropy hesapladığımızda tam olarak yaptığımız şeydir, bu da bir modelin yaptığı tahminler verildiğinde bir diziyi kodlamak için kaç bit gerektiğini söylemenin bilgi kuramsal yoludur. Ancak perplexity, bit sayısını daha iyi anlayabileceğimiz bir şeye geri çevirir, soyut bir bit sayısı yerine etkili bir seçenek sayısına.

Bu aritmetikten geriye kalan şey, açık, neredeyse fiziksel bir anlam taşır. Her seferinde tamamen emin olan bir model, ölçeğin alt sınırı olan 1 perplexity üretir. Her konumu eşit olasılıklı seksen sözcük arasında bir yazı tura gibi gören bir model ise 80 perplexity üretir.

Gerçek belgelerin çoğu bu iki uç arasında bir yerde yer alır ve tam olarak nerede yer aldığı, yazara, konuya ve okuyan modelin hangisi olduğuna bağlıdır.

İnsan yazısı neden farklı puan alma eğilimindedir

Bir modelin beklentileri, kendisinden önce gelenlerden, birer kelime halinde, bütünüyle kurulur. "the treatment group showed a statistically" ifadesinden sonra, iyi biçimlenmiş devamların ezici çoğunluğu "significant" olur ve büyük miktarda bilimsel yazı üzerinde eğitilmiş bir model, bu kelimeye tereddüt etmeden yüksek bir olasılık atar. Aynı ifadeye ulaşan bir insan yazar da "significant" üzerinde durabilir, çünkü ifadenin kendisi bu türün yerleşik bir unsurudur. Açık fark başka yerde ortaya çıkar, iki cümle sonra seçilen isimde, parantez içinde eklenen ara açıklamada, yuvarlak bir sayı yerine tuhaf bir ondalık basamakta bildirilen sayıda.

Bunda bir hile yoktur. Gerçek veriler hakkında yazan bir kişi tam sayıya, kesin niteleyiciye, biraz daha dar kelimeye ulaşmaya çalıştığında, türün kendisine değil, çalışmanın kendisine ait olan şeylere uzanır. Ve bu seçimlerin her biri, modele biraz daha fazla sürpriz yükler. Sürpriz, puanın toplamaya çalıştığı şeydir.

Burada çıkarım, ölçümün destekleyebileceğinden daha fazla iş yapmaktadır. Perplexity, öngörülebilirliği doğrudan ölçer. Yazarlığı yalnızca, öngörülebilir yazının insanlar arasında nadir, modeller arasında yaygın olduğunu varsayarak çıkarır, bu varsayım genellikle makuldür ve belirli, tanımlanabilir bir biçimde bazen yanlıştır, çünkü öngörülebilirlik, onu kimin yazdığıyla hiçbir ilgisi olmayan nedenlerle bir metnin sahip olabileceği bir özelliktir.

Aynı pasaj neden farklı puan alabilir

Puan, göründüğünden daha az taşınabilirdir, çünkü hiçbir zaman yalıtılmış halde ölçülmez. Perplexity her zaman tek bir belirli referans modelin eğitimine karşı hesaplanır ve bu bağımlılık, tek başına hiçbir tanımın gösteremeyeceği sorunlar yaratır.

Faktör	Ne değişir	Neden olur
Okumayı hangi modelin yaptığı	Aynı paragraf bir modelde düşük, başka bir modelde yüksek puan alabilir	Perplexity yalnızca tek bir modelin eğitim verisine göre ölçülür ve farklı modeller farklı metinler üzerinde eğitilmiştir
Parçanın yaygın biçimde yeniden üretilmiş metin olup olmaması	Ünlü bir tarihsel belge ya da bir ders kitabı tanımı, bir kişi onun her kelimesini dedektöre yazmış olsa bile düşük perplexity ile puan alabilir	Pangram Labs, Bağımsızlık Bildirgesi'ni bir örnek olarak gösterir: eğitim verilerinde o kadar sık alıntılanır ki bir model onun her cümlesini şaşırtıcı bulmaz
Dedektörün token olasılıklarını hiç görebilip görememesi	ChatGPT, Gemini ve Claude gibi kapalı ticari modeller, perplexity'nin ihtiyaç duyduğu kelime başına olasılıkları açığa çıkarmaz	Dedektörler, puanı metni gerçekten üreten model üzerinde perplexity hesaplamak yerine, açık bir vekil modelle yaklaşık olarak tahmin eder

Bunların hiçbiri sayıyı anlamsız kılmaz, yalnızca onu tek başına bir hüküm olarak güvenilir biçimde kullanmayı daha riskli hale getirir. GPTZero'nun kendi belgeleri bir zamanlar kaba bir kural yayımlamıştı, 85'in üzerindeki bir perplexity değeri daha çok insan yazımı olarak okunuyordu, ancak tek bir sağlayıcının tek bir model üzerindeki eşiği, farklı bir araçta farklı bir modele karşı ölçülen sonuca aktarılmaz. Tek bir skor bildiren bir dedektör, yukarıdaki tüm etkenleri, bunlardan hangisinin etkili olduğunu söylemeden tek bir sayıya sıkıştırmaktadır.

Bir perplexity skoru gerçekte size ne söyler

Ticari dedektörler, tek bir sayı rapora basılmadan önce perplexity'yi cümle düzeyi örüntüler, sınıflandırıcı eğitimi ve başka birkaç sinyalle birlikte birleştirir. AI dedektörlerinin gerçekte nasıl çalıştığına ilişkin daha kapsamlı açıklama ayrı olarak ele alınmıştır ve bu sayının geri kalan kısmının nereden geldiğini açıklar.

Cümleler arası ritim, ilişkili ama ayrı bir sinyaldir, burstiness checker tarafından kendi başına ele alınır ve tek bir kelimeye değil, bir pasaj boyunca ne kadar değişkenlik olduğuna bakar.

Bu sayıların hiçbiri, bir belgenin kim tarafından yazıldığını kanıtlayamaz, buna TextPulse'un gönderilen bir taslaktan hesapladığı tahmini Human Score da dahildir, bu skor metni tanımlar, ancak onun hakkında bir hüküm vermez. Aynı fikrin basitleştirilmiş bir sürümü, tam model olasılığı yerine sözcük dağarcığı çeşitliliği, bu sitedeki free perplexity checker aracını çalıştırır, bu aracı, bir raporun bir başkası hakkında söylediklerine güvenmeden önce, kökeni zaten bilinen bir paragraf üzerinde denemeye değerdir.

Perplexity checker, TextPulse'un geri kalan free tools araçlarıyla birlikte yer alır, bu nedenle bir taslağı, sözcük dağarcığını, ritmi ve diğer her şeyi baştan sona incelemek için aynı anda açık bir düzine ayrı sekmeye ihtiyaç yoktur.

Perplexity, bu sistemlerin dayandığı iki istatistikten biridir. Diğeri, bir pasaj boyunca burstiness, cümle uzunluğu ve yapısındaki değişkenliktir ve her ikisinin altında, skoru ilk etapta üreten token probability aritmetiği yatar.

Bir rapordaki sayı, uzun bir aritmetik zincirinin sonudur, bir şeyin kim tarafından yazıldığına dair bir tartışmanın başlangıcı değildir. Aritmetik artık gizemli olmaktan çıktığında, daha ilginç soru, bir belgenin ilk etapta tam olarak neyin onu şaşırtıcı ya da öngörülebilir kıldığıdır ve bu, yazının kendisiyle ilgili bir sorudur.