ZeroGPT Doğru mu?

ZeroGPT doğruluğu, şirketin kendi güncel iddiasına göre, "iç değerlendirmelerde >98%'e doğru ilerleyen" bir orandır, ve şirket bunun dış bir laboratuvardan değil, kendi üzerinde yürüttüğü testlerden geldiğini kabul etmektedir. Bu tek niteleyici, internal, bir okuyucunun herhangi bir ücretsiz dedektörün yüzdesini kesinleşmiş bir olgu olarak kabul etmeden önce bilmesi gerekenlerin büyük kısmını sağlar.

ZeroGPT, büyük ölçüde hiçbir ücret almaması ve saniyeler içinde bir yanıt vermesi nedeniyle, en çok kullanılan ücretsiz AI dedektörlerinden biridir. AI dedektörlerinde genel olarak görülen sağlayıcı iddiaları ile bağımsız testler arasındaki fark burada da görülmektedir. Aşağıda, şirketin kendi doğruluğu ve yöntemi hakkında şu anda ne söylediği, bu yöntemin gerçekte neyi ölçüyor göründüğü ve bu tür bir aracın akademik okurların sunduğu yazılarda neden belirli, öngörülebilir biçimlerde yanlış sonuç verme eğiliminde olduğu ele alınmaktadır.

Şirkete Göre ZeroGPT Doğruluğu Nedir?

ZeroGPT'nin kendi SSS bölümü, şirketin "sektör lideri doğruluk sunduğunu ve en iyi sınıf performansı sürdürmek için sürekli geliştirildiğini, iç değerlendirmelerde >98%'e doğru ilerlediğini" belirtmektedir. Bu, şirketin kendi ürününe ilişkin, yine şirketin kendisi tarafından test edilmiş bir sağlayıcı iddiasıdır ve ifadenin içine yerleştirilmiş gerçek bir ihtiyat payı ile kurulmuştur: "doğru ilerleyen" ifadesi, bir sayıya ulaşmak ve onu korumakla aynı şey değildir, ve "iç değerlendirmeler" ifadesi, dışarıdan hiçbir tarafın buna karşılık gelen bir rakam yayımlamadığı anlamına gelir. Sayfada, bu iç test kümesinin ne kadar büyük olduğu, neleri içerdiği veya yöntemi şirket dışından kimin incelediği belirtilmemektedir.

Şirket, kararlı bir sonuç için en az 150 ile 200 kelimelik metin önerir, 500 ile 1,000 kelime veya daha fazlasının güvenilirliği daha da artırdığını belirtir ve çok kısa ya da yoğun biçimde düzenlenmiş parçaların "daha az sinyal taşıdığını" doğrudan ifade eder. Tek başına bu açıklama, başlıktaki yüzdeden daha önemlidir. Bu, sağlayıcının kendi kabulüdür, puanın ancak girdi ne kadar uzun ve değiştirilmemişse o kadar güvenilir olduğu, gerçek bir teslimin her zaman karşılamadığı bir koşul.

ZeroGPT Aslında Hangi Yöntemi Kullanıyor?

ZeroGPT, temel sistemine DeepAnalyse adını verir, kendi sitesinde "doğruluğu en üst düzeye çıkarırken yanlış pozitifleri ve negatifleri en aza indirmek için tasarlanmış çok aşamalı bir metodoloji" olarak tanımlanır ve bir metni "makro düzeyden mikro düzeye" okuduğu belirtilir. SSS bölümü, markalamanın altında daha somut bir şeyi açıklar, "karışık veri kümeleri üzerinde eğitilmiş token örüntüleri, burstiness, entropy ve topluluk sınıflandırıcı özelliklerinin analizi."

Burstiness ve entropy, ZeroGPT'ye özgü değildir. Bunlar aynı istatistiksel özelliklerdir, cümle uzunluğunun ve ritminin ne kadar değiştiği ve bir sonraki her kelimenin ne kadar öngörülebilir olduğu, TextPulse'un AI dedektörleri nasıl çalışır konusundaki kendi açıklamasının, bu araç kategorisinin tamamının arkasındaki genel mekanizma olarak ele aldığı şeydir. Bir ücretsiz perplexity denetleyicisi, aynı temel sayıyı doğrudan gösterir, bir yazardan önce herhangi bir sağlayıcının yüzdesine güvenmesini istemeden.

Akademik Yazı Bu Dedektörleri Neden Zorlar?

ZeroGPT SSS bunu şöyle ifade eder: "son derece cilalı, formüle dayalı veya düşük entropy'li yazı AI'ya benzeyebilir." Akademik düzyazı, son derece cilalı, formüle dayalı, düşük entropy'li yazı için tasarlanmıştır. Bir yöntemler bölümü, bir literatür taraması ve resmî bir ön yazı, alışılmış ifadeyi yaratıcı olana tercih eder, çünkü alışkanlık, belgenin ilk etapta okuyucusu için kullanılabilir olmasını sağlayan şeydir ve tam da bu alışkanlık, sağlayıcının kendi açıklamasında risk olarak adlandırılan düşük entropy örüntüsüdür.

Bağımsız, hakemli testler, bu başarısızlık kipinin neden bazı yazarları diğerlerinden daha sert etkilediğini gösteriyor. 2023 tarihli bir Stanford çalışması, ZeroGPT dahil, yaygın kullanılan yedi dedektörü, ana dili İngilizce olmayan konuşurlar tarafından yazılmış 91 gerçek TOEFL kompozisyonuna ve ABD'deki sekizinci sınıf öğrencileri tarafından yazılmış 88 kompozisyona karşı test etti. ZeroGPT, TOEFL kompozisyonlarının yüzde 48'ini AI tarafından üretilmiş olarak işaretledi, sekizinci sınıf kompozisyonlarının ise yüzde 0'ını. Bu, söz konusu çalışmadaki her dedektörün gösterdiği aynı hata yönüydü, yalnızca farklı bir büyüklükte.

Bu farkta ZeroGPT'ye özgü hiçbir şey yoktur ve bununla ilgili hiçbir şey yeni bilgi değildir. Bu, dedektör endüstrisi genelinde belgelenmiş aynı ana dili İngilizce olmayan yazar yanlılığı örüntüsüdür, TextPulse'un AI dedektörlerinin neden ana dili İngilizce olmayan konuşurlara karşı yanlı olduğu konusundaki kendi sayfasında daha ayrıntılı biçimde ele alınmıştır. Bu farkın, ücretsiz bir tüketici aracı hakkında özel olarak gösterdiği şey, satıcının kendi açıkladığı sınırlamanın, düşük entropili yazının makine yapımı gibi okunması, varsayımsal olmamasıdır. Hakemli bir test, şirketin mevcut SSS bölümünün bu mekanizmayı kendi ifadeleriyle adlandırmasından yıllar önce, bunun tam bu üründe gerçekleştiğini tespit etmiştir.

Ücretsiz Bir Dedektör Puanı Tek Bir Belge Hakkında Bir Şey Kanıtlayabilir mi?

Kendi başına hayır. Bir ZeroGPT yüzdesi, herhangi bir yönde, belirli bir belge hakkında hiçbir şeyin kanıtı değildir. Bu, şirketin yayımlamadığı, şirket dışındaki hiç kimsenin denetleyemeyeceği bir biçimde iç testlere dayanan, uzunluğu, düzenleme geçmişi ve türü okuma biçimini şirketin kendi SSS bölümünün zaten kabul ettiği şekillerde değiştiren yazıya uygulanan, yalnızca bir modelin tahminidir. Tek bir ücretsiz puanı bir hüküm olarak ele almak, o puandan, onu sunan şirketin onun için iddia ettiğinden daha fazlasını talep etmektir.

Bir puanın gerçekten yararlı olduğu alan daha dardır ve daha sıradandır: bir taslağın şu anda, ücretli kurumsal bir aracın da çalıştırdığı aynı tür istatistiksel ölçümde nerede durduğuna dair hızlı, ücretsiz bir okuma, bunu başkası görmeden önce sağlar. TextPulse's free tools aynı zemini doğrudan kapsar, yazardan, birkaç ücretsiz dedektörün puanlarından hangisine önce güvenmesi gerektiğini tahmin etmesini istemeden.

Doğruluk oranları, hataların kime isabet ettiğini ve onları neyin tetiklediğini gizler. when to use a, an and the bilgisini edinmek, bir işaretleme çeken kalıplardan birini ortadan kaldırır ve what a false positive actually means ayrıca ayrı olarak açıklanır.

Bunların hiçbiri ZeroGPT'nin sayısını anlamsız kılmaz, ve bunların hiçbiri de sayıyı tek başına yeterli hale getirmez. Bir puan, şirketin yalnızca ana hatlarıyla açıkladığı ve dış testlere açmadığı bir yöntemle üretilen, türü tek başına sonucu, ilgili herkes yanlış bir şey yapmadan önce bile değiştirebilen bir yazı için başlangıç niteliğinde bir tahmindir. O FAQ sayfasında en çok bilgi taşıyan iki kelime yüzde değildir. Hemen yanında duran ihtiyat ifadeleridir, internal ve pushing toward. Ücretsiz bir puan, bir taslak hakkında konuşmaya başlamak için bir başlangıç noktasıdır, onu kapatmak için bir son söz değil.

Kendi Araştırmamız Ne Buldu

TextPulse Research'ün dedektör uyum çalışmasında dokuz ticari yapay zeka dedektörü aynı 90 akademik metni puanladı. Bunlardan biri 455 kelimelik bir hibrit metindi: insan yazımı bir giriş ve kapanış, ortada 168 kelimelik yapay zeka üretimi bir bölüm. ZeroGPT bu metne 7.6% yapay zeka puanı verdi; diğer araçların aynı kelimeler için verdikleri kararlar ise 0% ile 95.7% arasında dağıldı. Makalenin tamamı, derlem ve araç bazlı puan matrisi TextPulse Research adresinde açık erişimde.