Yapay Zeka Dedektörleri Hâlâ Perplexity ve Burstiness'e mi Dayanıyor?

GPTZero'nun bugün yapay zekâ ile yazılmış metni nasıl tespit ettiğini araştırdığınızda, geri dönen sonuçların çoğu hâlâ iki istatistik etrafında toplanır, perplexity ve burstiness, bu ikili aracı Ocak 2023 lansmanından sonraki haftalar içinde ünlü yapan unsurlardı. Ancak GPTZero'nun kendi destek belgeleri artık farklı bir şey söylüyor, aynı yılın sonbaharında bu ikisini kullanmayı bıraktığını belirtiyor.

Öyleyse burstiness hâlâ yapay zekâ dedektörleri tarafından kullanılıyor mu? Akademik çevrelerde bu terimi herkesin bildiği bir sözcük haline getiren araç tarafından değil. GPTZero'nun destek merkezi açıkça, perplexity ya da burstiness kullanmadığını, bunun yerine derin öğrenme tabanlı bir mimariye geçtiğini belirtir. Öğrencilerin gerçekte en sık karşılaştığı araç olan Turnitin ise yönteminin bir parçası olarak bu iki terimi baştan beri hiç yayımlamamıştır. Bu kavramlar tartışmadan kaybolmuş değildir. Asıl tespiti yapan ürünlerden kaybolmuşlardır.

Burstiness Hâlâ Yapay Zekâ Dedektörleri Tarafından Kullanılıyor mu?

Hayır, GPTZero tarafından değil ve adıyla da değil. GPTZero'nun kendi destek belgeleri bunu doğrudan söyler: "2023 sonbaharı itibarıyla GPTZero, yapay zekâ tespiti için artık perplexity ve burstiness kullanmamaktadır, çünkü derin öğrenme tabanlı bir mimariye geçiş yaptık." Turnitin'in kendi kılavuzları ise yine farklı bir yöntemi açıklar, bu yöntem bir gönderimin parçalarını eğitilmiş bir sınıflandırıcıyla puanlamaya dayanır ve bu belgelerde de bu iki terim hiçbir yerde geçmez. Yapay zekâ tespitinin ilk dalgasını tanımlayan bu iki istatistik, bugün önde gelen araçların çalıştırdığı şey değildir. Bu, onların tamamen atıldığı anlamına gelmez, GPTZero'nun kendi açıklaması hâlâ bunları modeline girdi sağlayan yedi gösterge arasında sayar. Yöntem olmaktan çıkıp bir ölçüm olmaya devam etmişlerdir ve bu iki iddia arasındaki fark, bu sorunun büyük ölçüde dayandığı noktadır.

2023 Sonbaharında Ne Değişti

Bu iki terim hiçbir zaman belirsiz değildi. GPTZero'nun kendi erken açıklayıcısı, perplexity terimini "bir AI modelinin belgede bulunan tam olarak aynı kelime kümesini seçme olasılığının bir ölçüsü" olarak, burstiness terimini ise "yazı örüntülerinin ve metin perplexity değerlerinin tüm belge boyunca ne ölçüde değiştiğinin bir ölçüsü" olarak tanımlıyordu, bu, basit bir cümle uzunluğu sayımı değil, belge düzeyinde bir istatistiktir. Her iki tanım da hâlâ GPTZero'nun sitesinde yayımlanmaktadır. Değişen şey, dedektörün gerçekte hangisini çalıştırdığıdır.

"Migrated to a deep-learning based architecture" belirli bir iddiadır, bir pazarlama ifadesi değildir ve tür bakımından gerçek bir değişimi anlatır. Bir perplexity puanı doğrudan bir formülden hesaplanır: metni bir referans dil modelinden geçir, log olasılıklarının ortalamasını al, sonucu üstel hale getir. Bunun yerine bir deep-learning sınıflandırıcı eğitilir, ona çok sayıda insan ve AI tarafından yazılmış örnek gösterilir, ta ki kendi başına, o eğitim verisindeki iki yığını ayıran özellikler birleşimini öğrenene kadar. İkinci yaklaşımda kuralı kimse elle yazmaz. Model onu bulur.

Her iki emekli terim için de bu sitede başka bir yerde tam bir açıklama vardır: perplexity'nin gerçekte neyi ölçtüğü ve burstiness'nin gerçekte neyi ölçtüğü başlıklı yazılar, aralarındaki formüller dahil olmak üzere kendi mekaniklerini ayrıntılı biçimde ele alır. Bu bölüm, yalnızca bunlardan herhangi birinin bugün bir dedektörün gerçekten çalıştırdığı şey olup olmadığına odaklanır.

GPTZero ve Turnitin Bugün Gerçekte Neyi Belgeliyor

Üründe sunulanı açıklayan mevcut GPTZero teknoloji sayfası, şirketin "web, eğitim ve çeşitli LLM'lerden AI tarafından üretilmiş metin veri kümeleri üzerinde eğitilmiş, uçtan uca bir deep learning yaklaşımı" kullandığını, bu yaklaşımda "cümle cümle bir sınıflandırma modelinin bir metnin AI tarafından oluşturulmuş olma olasılığını ve güven düzeyini belirlediğini" belirtir. Perplexity ve burstiness bu sayfanın hiçbir yerinde görünmez, bir bileşen olarak da, eski bir özellik olarak da, dipnotta da.

Turnitin'in belgeleri, başlangıçta bu iki terimden herhangi biri etrafında inşa edilmemişti. Kılavuzları, birkaç yüz kelimelik parçalara bölünmüş bir gönderimi tanımlar, her parça eğitilmiş bir model tarafından puanlanır ve parça puanları, bir raporun gösterdiği tek yüzdeye ortalanır. Bu, metin bölümleri üzerinde çalışan denetimli bir sınıflandırıcıdır, GPTZero'nun yöneldiği yöntem ailesinin aynısıdır, farklı bir ad altında yapılmış bir perplexity hesabı da değildir, burstiness hesabı da değildir.

Bu değişimi yan yana görmek en kolay yoldur.

	Erken açıklayıcıların tanımladığı şey (2023)	Güncel belgelerin tanımladığı şey
GPTZero	Bir referans modele karşı puanlanan perplexity ve burstiness	Olasılık ve güven puanı üreten, cümle cümle çalışan bir derin öğrenme sınıflandırıcısı
Turnitin	Hiç yayımlanmadı, bu terimler Turnitin'in kendi materyallerinde hiçbir noktada yer almıyor	Bir eğitilmiş sınıflandırıcı tarafından puanlanan, birkaç yüz kelimelik parçalar, tek bir yüzdeye ortalanıyor

Kavramlar Neden Hâlâ Tespit Edilebilirliği Açıklar

Bütün bunlar, perplexity ve burstiness'i yanlış kılmaz, yalnızca mevcut mekanizmanın bir tanımı olarak güncel olmaktan çıkarır. Her iki kavram da her zaman gerçek bir şeyi tanımlıyordu: Bir modelin kendi en yüksek olasılıklı devamlarına doğru örnekleme yapılarak üretilen metin, bir kişinin sıfırdan yazdığı metne kıyasla kelime kelime daha öngörülebilir olma eğilimindedir, ayrıca bir cümleden diğerine daha az değişkenlik gösterme eğilimindedir. Temeldeki düzenlilik, bir sağlayıcı dedektörünün mimarisini değiştirdi diye değişmedi. Değişen şey, dedektörün onu nasıl aradığıdır.

Eğitilmiş sınıflandırıcıdan açıkça perplexity ya da burstiness araması istenmez. Bunun yerine, insan ve makine metni arasındaki aynı temel ayrım üzerinde eğitilir, ve bu iki istatistiğin yakalamak üzere tasarlandığı şey de budur. Ayrıca, iki yığını ayırt etmek üzere eğitilmiş bir sınıflandırıcının tam da bu düzenliliği, iki grup arasındaki en güvenilir farklardan birini, hedef almayacağı pek olası görünmez. Bu, sınıflandırıcının neden muhtemelen işe yaradığına ilişkin bir çıkarımdır, yayımlanmış özellik listesinin ne söylediğine dair bir iddia değildir, ve ikisi ayrı tutulmalıdır.

Bağımsız araştırmalar, altta yatan istatistiğin herhangi bir tek satıcının ürününün dışında da etkisini sürdürdüğü fikrini desteklemektedir. DetectGPT, 2023'te yayımlanan akademik bir zero-shot yöntem, perplexity'nin yakın bir akrabası olan, bir modelin log-olasılık fonksiyonunun bir pasajın çevresinde ne kadar keskin biçimde eğrildiğine bakar ve etiketlenmiş örnekler üzerinde bir sınıflandırıcı eğitmeden, bir benchmark üzerinde 0.95 AUROC değerine ulaşır, bu değer önceki en iyi zero-shot baseline için 0.81'dir. Temel fikir, makine tarafından üretilen metnin bir modelin kendi olasılık uzayında istatistiksel olarak farklı bir bölgede yer aldığıdır, ve bu hâlâ etkin bir araştırma konusudur. Bu, yalnızca GPTZero'nun kullanıcılara sunduğu şey değildir.

İnternetin Büyük Bir Kısmı Neden Hâlâ Bunu Yanlış Anlıyor

AI detection'ın nasıl çalıştığına ilişkin yayımlanmış açıklamaların çoğu, GPTZero'nun Ocak 2023'teki lansmanı sırasında ya da kısa süre sonrasında yazılmıştır, çünkü o dönemde şirketin kendisinin sunduğu tek kamusal çerçeve perplexity ve burstiness idi. Bu ilk açıklayıcı sayfalar bugün de hâlâ yayındadır. 2023 sonbaharındaki emeklilik bildirimi, bunların içine işlenmiş olmak yerine ayrı bir destek sayfasında yer alır, bu nedenle ilk sayfayı okuyup araştırmayı bırakan bir yazar, yöntemin bir yıldan kısa süre sonra değiştiğini bilmek için hiçbir nedene sahip olmazdı.

2026 yılında dolaşıma giren üçüncü taraf bir dedektör incelemesi, GPTZero'nun hâlâ perplexity ve burstiness'i daha büyük bir sistem içinde birkaç katmandan biri olarak çalıştırdığını iddia ediyor. Bu iddia, GPTZero'nun kendi güncel teknoloji sayfası ve kendi destek belgeleriyle doğrudan çelişiyor ve GPTZero'nun kendi sitesinde bunu doğrulayan hiçbir şey yok. Bir şirketin kendi piyasaya sürülmüş ürününü tanımlaması, aynı ürün hakkında doğrulanmamış üçüncü taraf bir iddiadan yine de daha ağır basar, ancak satıcı belgeleri de yanlış olabilir. Bu yazı, incelemenin eski anlatıyı tekrarlamasından ziyade GPTZero'nun kendi sayfalarını esas alır.

Bu, Yazma Biçiminiz İçin Ne Anlama Geliyor

Burstiness etrafında kurulan pratik rehberlik, bu sözcük GPTZero'nun kendi materyallerinden kaybolmuş olsa da işlevsiz hale gelmiş değildir. Cümle uzunluğunu bilinçli biçimde çeşitlendirmek, mekanik olarak, bir sınıflandırıcının büyük olasılıkla fark etmek üzere eğitildiği aynı istatistiksel tekdüzeliği önleme meselesidir, bu sinyale içeride ne ad verirse versin. Altta yatan tavsiye, onu tanımlayan söz varlığı değişmiş olsa da satıcının mimari değişikliğinden sağ çıktı.

Bunun hiçbiri, bu gönderinin kendisi de dahil olmak üzere, kimsenin sözüne güvenmeyi gerektirmez. TextPulse's ücretsiz perplexity denetleyicisi ve daha geniş ücretsiz araçlar koleksiyonu, kendi taslağınızın bir dedektörün önünde, hangi kuşaktan olursa olsun, nereye düştüğünü görmenizi sağlar.

Eğer sonuç sizi kendi yazınıza geri götürüyorsa, pratik sonraki adımlar burstiness'i bilinçli olarak artırmak ve akademik bir paragraf boyunca cümle uzunluğunu çeşitlendirmektir, bu da ölçüt olmaksızın aynı işi tarif eder.

Bir dedektörün çalıştırdığı mekanizma değişmeye devam edecektir, GPTZero bunu zaten bir kez değiştirdi. Sabit kalan şey, bu sitenin AI dedektörlerinin gerçekte nasıl çalıştığına dair rehberinde tam olarak ele alınan asıl sorudur, yani öngörülebilir yazının makine tarafından yazılmış yazıyla aynı şey olup olmadığı, belirli bir yılda hangi formülün moda olduğundan bağımsız olarak.