Yapay Zeka Tespitinde Perplexity Nedir?

Perplexity ve AI detection birlikte arandığında, en üst sonuçların birkaçı ilgisiz bir ürüne, aynı zamanda Perplexity adı verilen yapay zekâ destekli bir arama motoruna ait çıkıyor. Bir dedektörün gerçekten raporladığı ölçüt, bu şirketle yalnızca kelime dışında hiçbir ortaklık taşımaz. Bu ölçüt, GPTZero ya da arama motorundan onlarca yıl daha eski olan konuşma tanıma araştırmalarından gelir ve ikisinden de daha dar bir şeyi ölçer, bir dil modelinin sayfada zaten yer alan sözcükler karşısında ne kadar şaşırdığını.

Peki AI detection içinde perplexity nedir? Perplexity, bir dil modelinin bir pasajdaki tam sözcükleri ne kadar iyi tahmin ettiğini anlatan bir puandır, modelin kendi olasılıklarının ortalaması alınarak ve sonuç tek bir sayıya dönüştürülerek üretilir. Düşük bir puan, modelin doğru tahmin etmeyi sürdürdüğü anlamına gelir. Yüksek bir puan, modelin sürekli şaşırdığı anlamına gelir.

Bu fikir, piyasadaki herhangi bir AI detector'dan daha eskidir ve tek başına bir belgenin kim tarafından yazıldığına dair hiçbir şey söylemez. Sayının arkasındaki aritmetik görünür hâle geldiğinde, bir rapordaki puan bir hüküm gibi görünmeyi bırakır ve gerçekte neyse ona benzemeye başlar, sözcük seçiminin bir betimlemesine.

AI detection içinde perplexity nedir?

Perplexity, dil modellemesinden ödünç alınmış bir ölçüdür. Bir modelin bir pasajda yer alan belirli sözcükleri ne kadar iyi tahmin ettiğini puanlar ve bu puanı tek bir sayı olarak bildirir. Dedektörler aynı ölçümü gönderilen bir belgeye uygular: düşük bir sayı, yani modelin tahminlerinin gerçek sözcüklerle yakından örtüşmesi, makine yazarlığının bir işareti olarak okunur, yüksek bir sayı ise insan yazarlığının bir işareti olarak okunur. Hesaplamanın hiçbir yönü belgenin argümanını, atıflarını ya da konu alanını okumaz. Yalnızca her bir sözcüğün ne kadar beklenir olduğunu, tek tek okur.

Dedektörler bu ölçümü icat etmedi. Konuşma tanıma ve makine çevirisi sistemlerinin onlarca yıldır bir modelin sıradan dili ne kadar iyi tahmin ettiğini değerlendirmek için kullandığı bir aracı ödünç aldılar ve onu yazarlık için bir vekil ölçüt olarak yeniden amaçlandırdılar, oysa bu araç başlangıçta böyle bir iş için tasarlanmamıştı.

Bunların hiçbiri, daha önce anılan ilgisiz arama motoruyla ilgili değildir. Bir dedektörün bildirdiği perplexity hiçbir zaman bir şirket değildir ve hiçbir zaman büyük harfle yazılmaz: bu, kendisine verilen herhangi bir metinden yeniden hesaplanan, sözcük dizisinin yalın bir istatistiksel özelliğidir.

Perplexity gerçekte nasıl hesaplanır

Hesaplama, herhangi bir AI ürününden daha geriye uzanır. Frederick Jelinek, Robert Mercer, Lalit Bahl ve James Baker, perplexityyi 1977 yılında, istatistiksel bir model için bir konuşma tanıma görevinin ne kadar zor olduğunu ölçmek üzere tanıttılar, bu terim bir denemeye ya da bir laboratuvar raporuna uygulanmadan onlarca yıl önce. Tanım o zamandan beri değişmemiştir.

Bir belgedeki her konumda model, gerçekten bir sonraki gelen sözcük için bir olasılık üretir, yaygın bir geçiş için 0.72 ya da alışılmadık bir geçiş için 0.03 gibi. Perplexity, bu olasılıkların logaritmalarını tüm pasaj boyunca ortalar, ardından ortalamayı bir üs ile tersine çevirir.

Üs, göründüğünden daha fazlasını yapıyor. Log olasılıkların ortalamasını almak, çapraz entropiyi hesapladığımızda tam olarak yaptığımız şeydir, bu da bir modelin yaptığı tahminler verildiğinde bir diziyi kodlamak için kaç bit gerektiğini bilgi kuramsal olarak ifade etmenin yoludur. Ancak perplexity, bit sayısını daha iyi anlayabileceğimiz bir şeye geri çevirir, soyut bir bit sayısı yerine etkili bir seçenek sayısına.

Bu aritmetikten geriye kalan şeyin açık, neredeyse fiziksel bir yorumu vardır. Her seferinde tamamen emin olan bir model, ölçeğin alt sınırı olan 1 perplexity üretir. Her konumu eşit olasılıklı seksen sözcük arasında eşit bir yazı tura gibi ele alan bir model ise 80 perplexity üretir.

Gerçek belgelerin çoğu bu iki uç arasında bir yere düşer ve tam olarak nereye düştüğü, yazara, konuya ve okuyan modelin hangisi olduğuna bağlıdır.

İnsan yazısının neden farklı puan alma eğiliminde olduğu

Bir modelin beklentileri, kelime kelime, bütünüyle kendinden önce gelenlerden kurulur. 'the treatment group showed a statistically' ifadesinden sonra, iyi biçimlenmiş devamların ezici çoğunluğu 'significant' olur ve büyük miktarda bilimsel yazı üzerinde eğitilmiş bir model bu sözcüğe tereddüt etmeden yüksek bir olasılık atar. Aynı ifadeye ulaşan bir insan yazar da 'significant' seçebilir, çünkü ifadenin kendisi bu türün yerleşik bir unsurudur. Açık fark başka yerde ortaya çıkar, iki cümle sonra seçilen isimde, parantez içinde eklenen kısa açıklamada, yuvarlak bir sayı yerine tuhaf bir ondalık basamakla bildirilen sayıda.

Bunda hiçbir hile yok. Gerçek veriler hakkında yazan bir kişi tam sayıya, kesin niteleyiciye, biraz daha dar sözcüğe ulaşmaya çalıştığında, türün değil çalışmanın doğru olduğu şeylere ulaşmaya çalışıyordur. Ve bu seçimlerin her biri modele biraz daha fazla şaşkınlık yükler. Puanın toplamaya tasarlandığı şey şaşkınlıktır.

Çıkarım, ölçümün destekleyebileceğinden daha fazla iş yapmaktadır. Perplexity, öngörülebilirliği doğrudan ölçer. Yazarlığı yalnızca, öngörülebilir yazının insanlar arasında nadir, modeller arasında ise yaygın olduğunu varsayarak çıkarır, bu varsayım genellikle makuldür ve bazen belirli, tanımlanabilir bir biçimde yanlıştır, çünkü öngörülebilirlik, onu kimin yazdığıyla hiçbir ilgisi olmayan nedenlerle bir metnin sahip olabileceği bir özelliktir.

Aynı pasaj neden farklı puan alabilir

Puan, göründüğünden daha az taşınabilirdir, çünkü hiçbir zaman boşlukta ölçülmez. Perplexity her zaman belirli bir referans modelin eğitimiyle karşılaştırılarak hesaplanır ve bu bağımlılık, tek başına hiçbir tanımın gösteremeyeceği sorunlar yaratır.

Faktör	Ne değişir	Neden olur
Okumayı yapan modelin hangisi olduğu	Aynı paragraf bir modelde düşük, başka bir modelde yüksek puan alabilir	Perplexity yalnızca bir modelin eğitim verisine karşı ölçülür ve farklı modeller farklı metinler üzerinde eğitilmiştir
Pasajın yaygın biçimde yeniden üretilmiş metin olup olmadığı	Ünlü bir tarihsel belge ya da bir ders kitabı tanımı, bir kişi onun her kelimesini dedektöre yazmış olsa bile düşük perplexity puanı alabilir	Pangram Labs, Bağımsızlık Bildirgesi'ni örnek olarak gösterir, bu metin eğitim verilerinde o kadar sık alıntılanır ki bir model onun her cümlesini şaşırtıcı bulmaz
Dedektörün token olasılıklarını hiç görüp göremediği	ChatGPT, Gemini ve Claude gibi kapalı ticari modeller, perplexity'nin ihtiyaç duyduğu kelime başına olasılıkları açığa çıkarmaz	Dedektörler, puanı metni gerçekten üreten model üzerinde perplexity hesaplamak yerine, açık bir vekil modelle yaklaşık olarak tahmin eder

Bunların hiçbiri sayıyı anlamsız kılmaz, yalnızca onu tek başına bir hüküm olarak güvenmeye daha riskli hale getirir. GPTZero'nun kendi belgeleri bir zamanlar kaba bir kural yayımlamıştı, perplexity değeri 85'in üzerinde olduğunda bunun daha çok insan yazımı olarak okunması, ancak tek bir sağlayıcının tek bir model üzerindeki eşiği, farklı bir araca ve farklı bir modele karşı ölçülen bir sonuca aktarılmaz. Tek bir puan bildiren bir algılayıcı, yukarıdaki tüm etkenleri bunlardan hangisinin etkili olduğunu söylemeden tek bir sayıya sıkıştırmaktadır.

Bir perplexity puanı aslında size ne söyler

Ticari algılayıcılar, tek bir sayı raporda görünmeden önce perplexity değerini cümle düzeyi örüntüler, sınıflandırıcı eğitimi ve başka birkaç sinyalle birlikte birleştirir. AI algılayıcılarının gerçekte nasıl çalıştığının daha kapsamlı resmi ayrı olarak ele alınır ve bu sayının geri kalanının nereden geldiğini açıklar.

Cümleden cümleye ritim, ilişkili fakat ayrı bir sinyaldir, burstiness checker tarafından kendi bağlamında ele alınır ve tek bir kelimeye değil, bir pasaj boyunca ne kadar değişkenlik olduğuna bakar.

Bu sayıların hiçbiri, TextPulse'un gönderilen bir taslaktan hesapladığı tahmini Human Score dahil, bir belgenin kim tarafından yazıldığını kanıtlayamaz, çünkü bu metni tanımlar, onun hakkında bir hüküm vermez. Aynı fikrin sadeleştirilmiş bir sürümü, tam model olasılığı yerine sözcük dağarcığı çeşitliliği, bu sitedeki ücretsiz perplexity checker'ı çalıştırır, ve bir raporun başka birinin metni hakkında ne söylediğine güvenmeden önce, kökeni zaten bilinen bir paragraf üzerinde denemeye değerdir.

Perplexity checker, TextPulse'un geri kalan ücretsiz araçları ile birlikte yer alır, böylece bir taslağın, sözcük dağarcığının, ritmin ve diğer her şeyin tam incelemesi için aynı anda açık bir düzine ayrı sekmeye ihtiyaç duyulmaz.

Perplexity, bu sistemlerin dayandığı iki istatistikten biridir. Diğeri, bir pasaj boyunca cümle uzunluğu ve yapısındaki değişkenlik olan burstiness, ve her ikisinin altında da skoru ilk etapta üreten token olasılığı aritmetiği yer alır.

Bir rapordaki sayı, bir şeyin kim tarafından yazıldığına dair bir tartışmanın başlangıcı değil, uzun bir aritmetik zincirinin sonudur. Aritmetik gizemli olmaktan çıktığında, daha ilginç soru, bir belgenin ilk etapta tam olarak neyin onu şaşırtıcı ya da öngörülebilir kıldığınıdır, ve bu, yazının kendisiyle ilgili bir sorudur.