AI Detector Yanlış Pozitifleri: İnsan Yazısı Neden İşaretlenir

1982 yılında, New England Journal of Medicine, kemik iliği nakli hastalarında sitomegalovirüs üzerine bir makale yayımladı. Makale hakem değerlendirmesinden geçti ve kırk yıl boyunca arşivde kaldı. 2023 yılında araştırmacılar, OpenAI tarafından kamuya açık olarak yayımlanan bir AI yazım dedektöründen bu makaleyi geçirdi ve araç, metni, sözde yazıldığı modelin var olmasından otuz yedi yıl önce, yüzde 99.96 olasılıkla AI tarafından üretilmiş olarak değerlendirdi. Bu, AI detector false positive olgusunun en saf biçimidir, makine tarafından yazıldığı işaretlenen, fakat makine tarafından yazılmış olması mümkün olmayan bir belge.

Bu örnek yalnızca zamanlaması bakımından uç bir örnektir. Temeldeki örüntü, kimin yazdığından ya da ne zaman yazıldığından bağımsız olarak, formülsel ve öngörülebilir düzyazıyı makine ürünü olarak okuyan bir dedektör, sıradan başvurularda sürekli ortaya çıkar, denemeler, ön yazılar, laboratuvar raporları, kişisel beyanlar. Bu yazı, false positive olgusuna neyin yol açtığını, hangi yazı türlerinin buna en açık olduğunu ve neden tek bir işaretlenmiş puanın göründüğü türden bir kanıt olmadığını ele almaktadır.

AI Detector False Positive Nedir?

AI detector false positive, bir tespit aracının AI tarafından üretilmiş olarak puanladığı insan yazımı bir metindir. Yazarın süreci, dürüstlüğü ya da becerisi hakkında hiçbir şey ölçülmez. Araç, cümlenin istatistiksel biçimini, sözcük seçimlerinin ve yapının ne kadar öngörülebilir olduğunu, makine çıktısıyla ilişkilendirmeyi öğrendiği biçimle karşılaştırır.

Sağlayıcılar false positive oranlarını tek bir küçük yüzde olarak bildirir, genellikle yüzde bir ya da iki'nin altındadır. Bu oran, sağlayıcının oluşturduğu bir ölçüt üzerinde yapılan kontrollü bir testi tanımlar, herhangi bir tekil belge hakkında güvence vermez. AI detector'ların gerçekten ne kadar doğru olduğu sorusu daha geniş ölçekte zaten bağımsız olarak test edilmiştir ve sonuçlar bütünüyle başka bir yere, bazen herhangi bir sağlayıcı sayısından çok daha yükseğe düşmektedir. Bu yazı daha dar bir alanda kalmaktadır, hangi yazı türlerinin bu riski artırdığı ve işaretlenmiş bir puanın insanlara neyi söyleyip neyi söyleyemeyeceği.

Hangi Yazı Özellikleri İnsan Metnini Makine Ürünü Gibi Gösterir

Düz yazının dört türü en yüksek riski taşır ve bunların hiçbiri bir kişinin yanlış bir şey yapmasını gerektirmez. Kısa belgeler, büyük ölçüde kalıplaşmış yazılar, alıntılanmış ya da şablonlanmış materyaller ve yoğun biçimde düzeltilmiş yazılar, serbestçe oluşturulmuş düzyazıya kıyasla daha öngörülebilir görünme eğilimindedir, oysa her dedektörün gerçekte ölçtüğü tek özellik budur. Bir ücretsiz burstiness checker aynı değişkenliği doğrudan ölçer, bu da bunu açıklayan bir metni okumaktan daha hızlı bir biçimde örüntüyü görmenin yoludur.

Bazı türler tasarımları gereği kalıplaşıktır. Bir yöntemler bölümü, bir laboratuvar raporu, standart bir ön yazı ve bir literatür taraması, geleneksel ifadeyi yaratıcı olana tercih eder, çünkü belgenin okuyucusu için kullanılabilir olmasını sağlayan şey gelenektir. Araştırmacılar bunu gerçek yazı üzerinde doğrudan test etti, 1980 ile 2023 arasında yayımlanmış, herhangi bir büyük dil modeli var olmadan önceki 14,400 dergi özetini kamuya açık bir dedektörden geçirdiler. Yayın yılına bakılmaksızın yüzde 8'e kadarı AI tarafından üretilmiş olarak işaretlendi ve New England Journal of Medicine'in özetleri yüzde 10.24 ile işaretlendi, bu da test edilen beş dergi arasındaki en yüksek yanlış pozitif oranıydı.

Test, ChatGPT hakkında hiçbir şeyi tespit ediyor olamazdı, çünkü ChatGPT örneklediği yılların çoğunda mevcut değildi. Türü tespit etti. Daha resmî olarak, 2026'nın tespit sorununa ilişkin istatistiksel analizi bunu nasıl ifade edecekse, yazılım tarafından yazıldığı için öngörülebilir olan bir cümle ile kendi türünde yazdığınız türden bir şey olduğu için öngörülebilir olan bir cümleyi birbirinden ayıracak bir dedektör kurmanın hiçbir yolu yoktur. Dışarıdan bakıldığında tamamen aynı görünürler.

Ağır düzenleme de benzer bir yönde baskı yapar. İlk taslak, bir yazarın kendine özgü düzensizliklerini taşır: tuhaf sözcük dizilişi, düşünce uzadığı için uzayan cümle. Kapsamlı bir düzeltme okuması, özellikle başka bir araç üzerinden yürütülen bir okuma, tam da bu düzensizlikleri yumuşatma eğilimindedir. Bugüne kadarki algılama araçlarının en büyük bağımsız karşılaştırması, bunların 14 tanesini test etti ve örnek metin yeniden ifade edildiğinde ya da makine çevirisinden geçirildiğinde doğruluğun, her araç için, daha da düştüğünü buldu.

Yazım özelliği	Bir belgenin görünür öngörülemezliğini neden düşürür	Kanıtın gösterdiği şey
Kısa gönderimler	Daha az metin, insan ritmini makine ritminden ayıran doğal çeşitlilik için daha az alan bırakır	Kısa belgelerdeki puanlar, birkaç sıra dışı cümlenin etkisiyle daha fazla dalgalanır
Formülleşmiş ya da disipline özgü yazım	Tür geleneği, yaratıcı olan yerine beklenen ifadeyi ödüllendirir	ChatGPT öncesi 14,400 dergi özeti, 1980 to 2023, hâlâ %8'e kadar yanlış pozitif üretti, bir derginin özetleri %10.24'e ulaştı
Yoğun biçimde düzenlenmiş ya da yeniden ifade edilmiş taslaklar	Bir cilalama aşaması, bir algılayıcının insan olarak okuduğu bireysel düzensizlikleri düzeltir	Bağımsız bir 14 araç karşılaştırması, yeniden ifade etme ya da makine çevirisinden sonra doğruluğun daha da düştüğünü buldu
Alıntılanmış ya da şablon metinler	Alıntılanan pasaj, alıntı yapan yazarın değil, kaynağının istatistiksel imzasını taşır	Alıntıları dışlamayan algılayıcılar, çevredeki belgeyi ödünç alınmış metin üzerinden puanlar

Yayınlanan Oranlar ile Gerçek Dünya Oranları Neden Uyuşmaz

Her büyük algılayıcı, yanlış pozitif oranını yüzde bir civarında ya da daha düşük olarak yayımlar. Aynı araçların farklı belgeler üzerinde, farklı koşullar altında yürütülen bağımsız testleri, rutin olarak bundan çok daha yüksek bir değer bildirir, bazen on kat ya da daha fazla. Her iki sayı da doğru olabilir ve yine de neredeyse hiçbir ortak nokta taşımayabilir, çünkü aynı şeyi ölçmezler.

Turnitin, çoğu rakibinden daha fazla ayrıntı yayımladığı için özellikle yararlı bir örnektir: belge düzeyinde yüzde 1’in altında bir yanlış pozitif oranı, bir teslimin yüzde 20’sinden fazlası AI tarafından yazılmış olarak işaretlendiği durumda, ayrıca gerçek dünya sonuçlarının şirketin kendi laboratuvar testlerinden farklı olduğuna dair bir şirket beyanı. Washington Post, 2023 yılında aynı araç üzerinden 16 gerçek belgeyi geçirdi ve yarısından fazlasının en az kısmen yanlış tanımlandığını buldu, bunların arasında tamamen insan tarafından yazılmış bir denemenin kısmen AI tarafından üretilmiş olarak işaretlenmesi de vardı. Bu iki sayı da uydurma değildir. Farklı örneklemlerden, farklı eşiklerden ve bir işaret olarak neyin sayıldığına ilişkin farklı tanımlardan gelirler.

Aynı fark, yalnızca tek bir şirkette değil, sektör genelinde de görülür. 14 araçlık o karşılaştırma, bunların her birinin genel doğrulukta yüzde 80’in altında kaldığını ve on dördün altısının, herhangi bir yeniden ifade etme devreye girmeden önce, değiştirilmemiş insan yazısında yanlış pozitif ürettiğini gösterdi. Yayınlanmış bir sayı bir ölçütü tanımlar. Şu anda bir öğretim üyesinin önünde duran belgeyi tanımlamaz.

Güven Veren Bir Puan Neden Güven Veren Bir Suçlama Değildir

Yanlış pozitif oranı, işaretlenen bir öğrencinin masum olma olasılığını ifade ediyormuş gibi duyulur. Ama hayır. Bu, testin onu alan herkes için nasıl çalıştığını açıklar. Ve bunlar, tıpta ya da güvenlikteki herhangi bir tarama testi gibi, farklı yanıtları olan farklı sorulardır.

Griffith University’den bir araştırmacının Mart 2026 tarihli istatistiksel analizi, alttaki matematiği açık biçimde ortaya koyar. AI tespitini, tek başına izole bir belgeye değil, bir öğrenci yazarlar popülasyonuna uygulanan bir test olarak ele alın, o zaman bir ödünleşim ortaya çıkar: o popülasyonun bir kısmı doğal olarak tipik AI çıktısıyla örtüşen, tür geleneğine yakın, ikinci dil öğrenen birinin aralığına yakın bir biçimde yazdığında, AI tarafından yazılmış çalışmayı yakalamada gerçek güce sahip herhangi bir dedektör, bu örtüşen kısmın bir bölümünde yanlış alarm vermek zorundadır. Bu, belirli bir dedektörün kötü yapılmış olduğuna dair bir iddia değildir. Bu, tek bir belge ve başka hiçbir kanıt olmadan çeşitli bir popülasyonu test etmenin bir özelliğidir.

Makalenin kendi açıklayıcı örneği, söz konusu ölçeği açıkça göstermektedir. Bir öğrenci nüfusunun yüzde 10'unun tipik AI çıktısına yeterince yakın yazdığını ve bir dedektörün gerçek AI tarafından yazılmış çalışmanın yüzde 80'ini yakalayacak şekilde ayarlandığını varsayalım. Matematik, bu durumda söz konusu nüfus genelinde ortalama yanlış pozitif oranının en az yüzde 7.5 olmasını gerektirir. Bu, dedektörün mühendisliğindeki bir kusur değildir, bu grubun yazısının istatistiksel olarak tespit edilen şeyle ne ölçüde örtüştüğünün doğrudan bir sonucudur.

10,000 öğrencili bir üniversiteye ölçeklendiğinde, yalnızca bu alt sınır bile nüfus genelinde yaklaşık 750 yanlış işaret anlamına gelir, bu da başka hiçbir kanıtın tartılmadığı tek bir belgeye karşı çeşitli bir nüfusu test etmenin matematiksel sonucudur. Makalenin yazarı, bu belirli rakamların gerçek bir kurumda ölçülmüş değil, örnekleyici olduğunu açıkça belirtmektedir. Bu örnek, herhangi bir tek kampüs için belirli bir tahmini değil, sorunun biçimini göstermektedir.

Bütün bunlar, işaretlenmiş bir puanın anlamsız olduğu anlamına gelmez. Bu, puanın tek bir bireyle ilgili bir soruyu yanıtlaması istenen, zayıf bir nüfus düzeyi sinyal olduğu anlamına gelir, bu uyumsuzluğu hiçbir satıcı cilası tek başına bütünüyle gideremez. Sorumlu bir okuma, sayıyı daha iyi kanıt toplamak için bir çağrı olarak ele alır, taslaklar, sürüm geçmişi, gerçekten bir şeyler yazan birinin olağan belge izi. TextPulse's free tools, bir yazarın taslağın şu anda bu aynı ölçümlerde nerede durduğunu başkası görmeden önce kontrol etmesine olanak tanır, bu da teknolojinin belirli bir dedektörü aşmaya çalışmaktan farklı bir kullanımıdır.

Hangi Yazarlar En Yüksek Riskle Karşı Karşıya

Araştırma, diğerlerinden daha fazla öne çıkan iki grubu göstermektedir, ikinci bir dilde yazan kişiler ve denemelerini nasıl yazdıklarıyla ilgisiz nedenlerle doğal olarak çok yapılandırılmış ya da tekrarlayıcı yazan kişiler. Bu iki yazar türü de, bir dedektörün yakalamak üzere kurulduğu aynı istatistiksel imzada ortaya çıkar.

Anadili İngilizce olmayan konuşurlar, belgelenmiş en büyük riski taşır. Bağımsız testler, akıcı ikinci dil akademik yazının, yerli yazıya kıyasla çok daha yüksek oranlarda makine tarafından üretilmiş gibi yanlış okunduğunu defalarca ortaya koymuştur. TextPulse'un ESL akademik yazarlar için sayfası, bu riskin arkasındaki mekanizmayı, buna yol açan ifade kalıpları da dahil olmak üzere, daha ayrıntılı biçimde ele alır.

Daha az tartışılan ikinci bir grup da benzer bir sorunla karşı karşıyadır. Araştırmacılar, yaklaşık 60.000 Reddit gönderisini, otistik yazarlar tarafından yazılmış olma olasılığı yüksek olarak tanımlanan bir alt küme ile genel bir örneklem arasında bölerek karşılaştırdı ve her ikisini de GPT-2 tabanlı bir dedektörden geçirdi. Her iki grup da toplamda yüzde 2'nin altında işaretlendi, ancak otistik olma olasılığı yüksek alt küme, genel örnekleme kıyasla anlamlı derecede daha yüksek bir oranda işaretlendi. Sözcüğü olduğu gibi alan, tekrarlayıcı, sıkı biçimde örüntülenmiş ifadelere yönelen yazı, bazı otistik iletişim stillerinin belgelenmiş bir özelliği olarak, bir dedektörün yakalamak üzere kurulduğu tam da düşük değişkenlikteki metni üretir.

İki sağlayıcı, iddiayı denetlemek için yeterli bilgi yayımlar. Turnitin'in kendi yanlış pozitif oranı ayrı olarak ortaya konur ve ZeroGPT'nin doğruluğu kendi sayfasında incelenir. Bu hataların en ağır biçimde kimleri etkilediği ise ayrı bir sorudur ve anadili İngilizce olmayan yazarların neden daha sık işaretlendiği sorusunun da kendi yanıtı vardır.

Bunların hiçbirinin yakında daha basit hale gelmesi olası değildir. Dedektörler, gerçekten makine tarafından yazılmış metni yakalamada gelişmeye devam edecek ve nüfus çeşitliliği, yalnızca daha iyi mühendislikle bütünüyle kapatılamayacak bir yanlış suçlama oranı üretmeye devam edecektir. Daha yararlı değişim, bazı kurumlarda zaten gerçekleşmektedir, bir puanı bir son olarak değil, bir konuşmanın başlangıcı olarak ele almak ve yayımlanmış bir oranın gerçekten hangi nüfus üzerinde test edildiğini, önlerindeki belgeye uygulanacağına güvenmeden önce sormak.