Yapay Zeka Dedektörleri Hâlâ Perplexity ve Burstiness'e mi Dayanıyor?

GPTZero'nun bugün yapay zekâ yazımını nasıl tespit ettiğini aradığınızda, geri dönen sonuçların çoğu hâlâ iki istatistiğe, perplexity ve burstiness'e, yani aracın Ocak 2023'teki lansmanından sonraki haftalar içinde onu ünlü kılan çifte odaklanır. GPTZero'nun kendi destek belgeleri ise artık farklı bir şey söylüyor, aynı yılın sonbaharında bu ikisini de kullanmayı bıraktığını belirtiyor.

Öyleyse burstiness hâlâ yapay zekâ dedektörleri tarafından kullanılıyor mu? Akademik çevrelerde bu terimi yaygınlaştıran araç tarafından değil. GPTZero'nun destek merkezi açıkça artık perplexity veya burstiness kullanmadığını, bunun yerine derin öğrenme tabanlı bir mimariye geçtiğini belirtir. Öğrencilerin gerçekte en sık karşılaştığı araç olan Turnitin ise yönteminin bir parçası olarak bu terimlerden hiçbirini baştan beri yayımlamamıştır. Bu kavramlar tartışmadan kaybolmuş değildir. Asıl tespiti yapan ürünlerden kaybolmuşlardır.

Burstiness Hâlâ Yapay Zekâ Dedektörleri Tarafından Kullanılıyor mu?

Hayır, GPTZero tarafından değil, adıyla da değil. GPTZero'nun kendi destek belgeleri bunu doğrudan söyler: "As of autumn 2023, GPTZero no longer uses perplexity and burstiness for its AI detection because we migrated to a deep-learning based architecture." Turnitin'in kendi kılavuzları ise yine farklı bir yöntemi tanımlar, bu yöntem bir gönderimin parçalarını eğitilmiş bir sınıflandırıcıyla puanlamaya dayanır ve bu belgelerde de bu iki terim hiçbir yerde geçmez. Yapay zekâ tespitinin ilk dalgasını tanımlayan iki istatistik, bugün önde gelen araçların çalıştırdığı şey değildir. Bu, onların tamamen atıldığı anlamına gelmekten daha dardır: GPTZero'nun kendi açıklayıcı metni hâlâ bunları modeline girdi sağlayan yedi gösterge arasında sayar. Ölçüm olmaktan çıkmadan yöntem olmaktan çıktılar ve bu iki iddia arasındaki fark, bu sorunun büyük ölçüde dayandığı noktadır.

Sonbahar 2023'te Ne Değişti

Bu iki terim hiçbir zaman belirsiz değildi. GPTZero'nun kendi erken açıklayıcısı, perplexity'yi "bir AI modelinin belgede bulunan sözcüklerin tam olarak aynı kümesini seçme olasılığının bir ölçüsü" olarak, burstiness'i ise "yazım örüntülerinin ve metin perplexity'lerinin tüm belge boyunca ne ölçüde değiştiğinin bir ölçüsü" olarak tanımlıyordu, bu, basit bir cümle uzunluğu sayımı değil, belge düzeyinde bir istatistiktir. Bu iki tanım da hâlâ GPTZero'nun sitesinde yayımlanmaktadır. Değişen şey, dedektörün gerçekte hangisini çalıştırdığıdır.

"Derin öğrenme tabanlı bir mimariye taşındı" ifadesi belirli bir iddiadır, bir pazarlama ifadesi değildir ve tür bakımından gerçek bir değişimi anlatır. Bir perplexity puanı doğrudan bir formülden hesaplanır, metni bir referans dil modelinden geçirirsiniz, log olasılıkların ortalamasını alırsınız, sonucu üstel hale getirirsiniz. Bunun yerine bir derin öğrenme sınıflandırıcısı eğitilir, ona çok sayıda insan ve AI tarafından yazılmış örnek gösterilir, ta ki kendi başına, eğitim verisindeki iki yığını ayıran özellikler birleşimini öğrenene kadar. İkinci yaklaşımda kuralı elle yazan kimse yoktur. Model onu bulur.

Emekliye ayrılan her iki terim için de bu sitede başka bir yerde tam bir açıklama vardır: perplexity'nin gerçekte neyi ölçtüğü ve burstiness'in gerçekte neyi ölçtüğü başlıklı yazılar, bunların arkasındaki formüller dahil olmak üzere, kendi işleyişlerini ayrıntılı biçimde ele alır. Bu metin, yalnızca bunlardan herhangi birinin bugün hâlâ bir dedektörün çalıştırdığı şey olup olmadığına odaklanır.

GPTZero ve Turnitin Bugün Gerçekte Neyi Belgeliyor

Üründe sunulanı tanımlayan mevcut GPTZero teknoloji sayfası, dedektörlerinin "uçtan uca bir derin öğrenme yaklaşımı" olduğunu, "cümle cümle sınıflandırma modeli" ile bir güven skoru içeren olasılık çıktısı ürettiğini belirtir. Perplexity ve burstiness bu sayfanın hiçbir yerinde görünmez, bir bileşen olarak da, eski bir özellik olarak da, dipnotta da.

Turnitin'in belgeleri baştan beri bu iki terim etrafında kurulmamıştı. Kılavuzları, birkaç yüz kelimelik parçalara ayrılmış bir gönderimi tanımlar, her parça eğitilmiş bir model tarafından puanlanır ve parça puanları, bir raporun gösterdiği tek yüzdeye ortalanır. Bu, metin bölümleri üzerinde çalışan denetimli bir sınıflandırıcıdır, GPTZero'nun geçtiği yöntem ailesinin aynısıdır, farklı bir ad altında yapılmış bir perplexity hesabı ya da burstiness hesabı değildir.

Bu değişimi yan yana görmek en kolay yoldur.

	Erken açıklayıcıların tanımladığı şey (2023)	Güncel belgelerin tanımladığı şey
GPTZero	Bir referans modele karşı puanlanan perplexity ve burstiness	Bir olasılık ve güven puanı üreten, cümle cümle çalışan derin öğrenme tabanlı bir sınıflandırıcı
Turnitin	Hiç yayımlanmadı, bu terimler Turnitin'in kendi materyallerinde hiçbir zaman yer almadı	Bir eğitilmiş sınıflandırıcı tarafından puanlanan, birkaç yüz kelimelik parçalar, tek bir yüzdeye ortalanır

Kavramlar Neden Hâlâ Tespit Edilebilirliği Açıklar

Bütün bunlar, perplexity ve burstiness'i yanlış kılmaz, yalnızca mevcut mekanizmanın bir betimi olarak güncel olmaktan çıkarır. Her iki kavram da her zaman gerçek bir şeyi tanımlıyordu: Bir modelin kendi en yüksek olasılıklı devamlarına doğru örnekleme yapılarak üretilen metin, bir kişinin sıfırdan yazdığı metne kıyasla, kelime kelime daha öngörülebilir olma eğilimindedir, bir cümleden diğerine daha az değişkenlik gösterme eğilimindedir. Altta yatan düzenlilik değişmedi, çünkü bir sağlayıcı dedektörünün mimarisini değiştirdi. Değişen şey, dedektörün onu nasıl aradığıdır.

Eğitilmiş sınıflandırıcıdan açıkça perplexity ya da burstiness araması istenmez. Bunun yerine, insan ve makine metni arasındaki aynı temel ayrım üzerinde eğitilmiştir, bu iki istatistiğin yakalamak üzere tasarlandığı ayrım da budur. Ve bu iki yığını ayırt etmek üzere eğitilmiş bir sınıflandırıcının, tam da bu düzenliliği, iki grup arasındaki en güvenilir farklardan birini, hedef almayacağı pek olası görünmemektedir. Bu, sınıflandırıcının neden muhtemelen işe yaradığına ilişkin bir çıkarımdır, yayımlanmış özellik listesi hakkında bir iddia değildir ve ikisi ayrı tutulmalıdır.

Bağımsız araştırmalar, temel istatistiğin, herhangi bir tek satıcının ürününün dışında da etkisini sürdürdüğü fikrini desteklemektedir. 2023'te yayımlanan akademik bir zero-shot yöntem olan DetectGPT, perplexity'nin yakın bir akrabası olan, bir modelin log-olasılık fonksiyonunun bir pasaj çevresinde ne kadar keskin eğrildiğine bakar ve etiketlenmiş örnekler üzerinde bir sınıflandırıcı eğitmeden, bir ölçütte en iyi önceki zero-shot temel çizgi için 0.81'e karşı 0.95 AUROC değerine ulaşır. Makine tarafından üretilen metnin, bir modelin kendi olasılık uzayının istatistiksel olarak farklı bir bölgesinde yer aldığı yönündeki temel fikir, hâlâ etkin bir araştırma konusudur. Bu, yalnızca GPTZero'nun kullanıcılara sunduğu şey değildir.

İnternetin Büyük Bir Kısmı Neden Hâlâ Bunu Yanlış Anlıyor

AI detection'ın nasıl çalıştığına ilişkin yayımlanmış açıklamaların çoğu, GPTZero'nun Ocak 2023'teki lansmanı sırasında ya da hemen sonrasında yazılmıştır, çünkü o dönemde şirketin kendisinin sunduğu tek kamusal çerçeve perplexity ve burstiness idi. Bu ilk açıklayıcı sayfalar bugün hâlâ yayındadır. 2023 sonbaharındaki kullanımdan kaldırma bildirimi, bunlara eklenmek yerine ayrı bir destek sayfasında yer almaktadır, bu nedenle ilk sayfayı okuyup araştırmayı burada bırakan bir yazarın, yöntemin bir yıldan kısa bir süre sonra değiştiğini bilmesi için hiçbir nedeni olmazdı.

2026 yılında dolaşıma giren üçüncü taraf bir dedektör incelemesi, GPTZero'nun hâlâ perplexity ve burstiness'i daha büyük bir sistem içinde birkaç katmandan biri olarak çalıştırdığını iddia ediyor. Bu iddia, GPTZero'nun kendi güncel teknoloji sayfası ve kendi destek belgeleriyle doğrudan çelişiyor ve GPTZero'nun kendi sitesinde bunu doğrulayan hiçbir şey yok. Bir şirketin kendi piyasaya sürdüğü ürünü hakkında yaptığı açıklama, aynı ürünle ilgili doğrulanmamış üçüncü taraf bir iddiadan yine de daha üstündür, ancak satıcı belgeleri de yanlış olabilir. Bu metin, incelemenin eski anlatıyı tekrar etmesi yerine GPTZero'nun kendi sayfalarını esas alıyor.

Bu, Nasıl Yazdığınız Açısından Ne Anlama Geliyor

Burstiness etrafında kurulan pratik rehberlik, bu sözcük GPTZero'nun kendi materyallerinden kaybolmuş olsa bile, işlevsiz hâle gelmiş değildir. Cümle uzunluğunu bilinçli biçimde çeşitlendirmek, mekanik olarak, bir sınıflandırıcının fark etmesi için büyük olasılıkla eğitildiği aynı istatistiksel tekdüzeliği önleme meselesidir, bu sinyale içeride ne ad verirse versin. Bu tavsiye, onu tanımlayan söz varlığı değişmiş olsa da, satıcının mimari değişikliğinden sağ çıkmıştır.

Bunun hiçbiri, bu yazınınki de dahil olmak üzere, kimsenin sözüne güvenmeyi gerektirmez. TextPulse'ın ücretsiz perplexity denetleyicisi ve daha geniş ücretsiz araçlar koleksiyonu, kendi taslağınızın bir dedektörün önünde, hangi kuşaktan olursa olsun, nerede durduğunu görmenizi sağlar.

Eğer sonuç sizi kendi yazınıza geri döndürüyorsa, pratik sonraki adımlar burstiness'i bilinçli olarak artırmak ve akademik bir paragraf boyunca cümle uzunluğunu çeşitlendirmek olur, ki bu da aynı işin ölçüt olmadan anlatılmış hâlidir.

Bir dedektörün çalıştırdığı mekanizma değişmeye devam edecektir, GPTZero bunu zaten bir kez değiştirdi. Sabit kalan şey, bu sitenin AI dedektörlerinin gerçekte nasıl çalıştığına dair rehberinde tam olarak ele alınan asıl sorudur, yani öngörülebilir yazının makine tarafından yazılmış yazıyla aynı şey olup olmadığı, belirli bir yılda hangi formülün moda olduğundan bağımsız olarak.