AI Dedektörleri Neden Ana Dili İngilizce Olmayan Yazarlar Aleyhine Yanlıdır

Yapay zeka dedektörlerinin ana dili İngilizce olmayan konuşurlara karşı önyargılı olması, öznel bir şikayet değildir. Hakemli bir 2023 Stanford çalışması bunu doğrudan ölçtü. Araştırmacılar, ana dili İngilizce olmayan konuşurlar tarafından yazılmış 91 gerçek TOEFL kompozisyonu ile Amerikalı sekizinci sınıf öğrencileri tarafından yazılmış 88 kompozisyon üzerinde yaygın olarak kullanılan yedi GPT dedektörünü çalıştırdı, ardından her grubun nasıl puan aldığını karşılaştırdı.

Dedektörler sekizinci sınıf kompozisyonlarını neredeyse her zaman doğru okudu. Daha önce lisansüstü düzeyde bir İngilizce yeterlilik sınavını geçmiş yetişkinler tarafından yazılmış TOEFL kompozisyonlarında, aynı yedi araç ortalama yüzde 61.22 yanlış pozitif oranı verdi. Doksan bir kompozisyonun seksen dokuzu, yani neredeyse yüzde 98'i, yedi araçtan en az biri tarafından yapay zeka tarafından üretilmiş olarak işaretlendi.

TextPulse'un yapay zeka dedektörü doğruluğuna ilişkin daha geniş kanıtlara dair genel değerlendirmesi, bu manşet bulguyu ve sonrasında bunun dayanak yapıldığı davaları ele alır. Çalışmanın atıf aldığı hemen her yerde atlanan şey mekanizmadır, yani lisansüstü düzeyde İngilizce bilen bir kişinin düzyazısı neden başlangıçta makine ürünü gibi okunur ve bu durum artık böyle okunmadığında ne değişir.

Yapay Zeka Dedektörlerinin Ana Dili İngilizce Olmayan Konuşurlara Karşı Önyargısı, Mekanizma

Bir dedektör hiçbir zaman anlam için okumaz. Ondan önce gelen sözcükler verildiğinde her bir sözcüğün ne kadar öngörülebilir olduğuna bakar ve modelin metnin çoğunu önceden tahmin edebilmiş olması durumunda bir pasajı düşük puanlar. Sözcük çeşitliliği, yani bir yazarın daha küçük bir güvenli sözcük kümesini tekrar etmek yerine ne kadar geniş bir kelime dağarcığından yararlandığı, ve sözdizimsel öngörülebilirlik, yani cümle yapısının dildeki en yaygın kalıbı ne ölçüde izlediği, bu puanı düşüren dil üretimi özelliklerinden ikisidir.

Bu ayrım önemlidir, çünkü ikisi sayfada farklı biçimlerde görünür. Sözcüksel çeşitlilik, sözcüklerin kendisiyle ilgilidir: üç farklı cümlede 'obtain,' 'acquire,' ve 'secure' sözcüklerine yönelen bir yazar, 'get' sözcüğünü üç kez kullanan bir yazardan, cümleler başka bakımlardan özdeş olsa bile, daha çeşitli görünür. Sözdizimsel öngörülebilirlik ise yapıyla ilgilidir: özne, fiil, nesne, tekrar tekrar yinelenen bir düzen, ya da yan cümleyle başlayan veya beklenmedik bir sözcükle biten bir cümle değil. Sınav koşulları altında çalışan ikinci dil yazarı, her iki durumda da daha güvenli olan biçimi tercih etmek için her nedene sahiptir.

İkinci dilde yazı, her iki özelliği de güvenilir biçimde daha az gösterir ve bu bir eksiklik olarak değil. Ek bir dilde çalışan bir yazar, doğru olma olasılığı en yüksek olan sözcük dağarcığına ve cümle kalıplarına yaslanır, çünkü dili henüz tam otomatik olmadığında yanlış tahminde bulunmanın maliyeti daha yüksektir. Dedektör yanlılığını belgeleyen Stanford makalesi, yapay zeka dedektörleri ortaya çıkmadan çok önce yerleşmiş olan tam da bu örüntü üzerine uygulanmış dilbilim araştırmalarından oluşan bir literatüre atıf yapar: azaltılmış sözcüksel zenginlik, azaltılmış sözcüksel çeşitlilik ve daha basit cümle yapısı, ikinci dilde yazının başka bir şeyin işareti değil, belgelenmiş ve ölçülebilir özellikleridir.

Ana dilde ve ana dil olmayan yazı arasındaki bu fark, bir dedektörün bir pasajın makine tarafından üretilip üretilmediğine karar vermek için kullandığı aynı ölçüm olan bir perplexity farkı olarak ortaya çıkar. Daha düşük perplexity, onu kimin ürettiğinden bağımsız olarak daha makine benzeri okunur ve ikinci dilde yazı, bir chatbot ile ilgisi olmayan nedenlerle bu ölçekte daha aşağıda yer alır. Bu farkın gerçekten dedektörleri yönlendiren şey olup olmadığı, yoksa bir rastlantı mı olduğu, test edilebilir bir sorudur. Stanford ekibi bunu doğrudan test etti.

Aynı Denemeler Daha Zengin Bir Sözcük Dağarcığıyla Yeniden Yazıldığında Ne Oldu

Araştırmacılar, ortalama yüzde 61.22 yanlış pozitif oranını tetiklemiş olan aynı 91 TOEFL denemesini aldılar ve ChatGPT’den bunları tek bir yönergeyle gözden geçirmesini istediler: "Kelime seçimlerini ana dili konuşur gibi daha doğal duyulacak şekilde geliştir." İçerik, argüman ya da dilbilgisi hakkında değişmesi yönünde hiçbir yönlendirme yapılmadı. Bu tek düzenlemeden sonra, aynı yedi dedektör genelinde ortalama yanlış pozitif oranı yüzde 11.77’ye düştü, bu neredeyse elli yüzde puanlık bir azalmaydı ve her dedektörün oybirliğiyle işaretlediği deneme sayısı on sekizden bire indi.

Araştırmacılar ardından deneyi tersine çevirdiler. Dedektörlerin başlangıçta neredeyse her seferinde doğru biçimde puanladığı 88 ana dili konuşur sekizinci sınıf denemesini aldılar ve ChatGPT’den bunların kelime seçimlerini ana dili konuşmayan biri tarafından yazılmış gibi sadeleştirmesini istediler. Aynı ana dili konuşur yazılmış denemelerde ortalama yanlış pozitif oranı yüzde 5.19’dan yüzde 56.65’e sıçradı. Denemelerin yazarlığı değişmedi. Yalnızca kelime dağarcığı değişti ve dedektörler kelime dağarcığını izledi.

Perplexity, her iki yönde de yanlış sınıflandırma oranıyla aynı doğrultuda hareket etti: TOEFL denemeleri zenginleştirildiğinde keskin biçimde yükseldi, sekizinci sınıf denemeleri sadeleştirildiğinde ise keskin biçimde düştü. Yazarlar bundan açık bir sonuç çıkarıyor: dedektörlerin gerçekte yanıt verdiği şey hiçbir zaman yazarlık değildi. Bu, herhangi bir yazarın kelime dağarcığının, İngilizceyi nerede öğrendiğinden bağımsız olarak taşıyabileceği bir özellik olan kelime seçimiydi.

Bu Yanlılık Farklı Dedektörler Arasında Ne Kadar Tutarlı

Yedi dedektör pek çok konuda uzlaşmadı, yalnızca hatanın hangi yönde gerçekleştiği konusunda uzlaştı. Her biri TOEFL denemelerini sekizinci sınıf denemelerinden çok daha sık işaretledi, ancak bunu çok farklı oranlarda yaptı.

Dedektör	Yanlış pozitif oranı, TOEFL denemeleri	Yanlış pozitif oranı, ana dili İngilizce olanların denemeleri
Originality.ai	76%	1%
Quil.org	75%	9%
Sapling	68%	5%
OpenAI's detector	58%	9%
Crossplag	52%	12%
GPTZero	52%	0%
ZeroGPT	48%	0%

Bunlar, 2023 yılına ait verilerdir ve o dönemde mevcut oldukları haliyle araçlar üzerinde ölçülmüştür. O zamandan beri birkaçının durumu tamamen değişti: OpenAI, bu testten dört ay sonra, Temmuz 2023'te kendi dedektörünü kapattı, çünkü dedektörün gerçek AI tarafından yazılmış metnin yalnızca yüzde 26'sını doğru biçimde işaretlediğini, buna karşın insan yazısının yüzde 9'unu hâlâ yanlış etiketlediğini buldu. Değişmeyen şey, farkın yönüdür. Demografik ve dilsel kategoriler boyunca dedektörleri test etmek için özel olarak oluşturulmuş, daha geniş bir önyargı ölçütü, Aralık 2025'te yayımlandı ve dört yeni açık kaynak araç üzerinde uygulandı, yine de yeterince temsil edilmeyen yazar grupları için tutarlı biçimde daha düşük recall bildirdi.

Bu Önyargı Daha Yeni Dedektörlerde Hâlâ Görünüyor mu?

Stanford çalışması artık birkaç AI nesli eskidir ve yazarları sınırlamayı kendileri de belirtmiştir: küçük bir pilot örneklem ve çoğunlukla GPT-2 üzerine kurulu dedektörler, ki bu model bugün tespiti güçlendiren modelden çok daha küçük ve daha eskidir. Bu, makul bir soru ortaya çıkarır. Daha iyi teknoloji farkı kapattı mı?

En son yapılan özel test, henüz değil diyor. Sultan Qaboos University’den Şubat 2026 tarihli bir çalışmada araştırmacılar, iki güncel ticari dedektörü, Turnitin ve Originality, 192 metin üzerinde test etti. Bu metinler, özgün ChatGPT öncesi EFL öğrenci yazısını, profesyonel insan yazısını, AI tarafından üretilmiş metni ve karma insan AI metnini içeriyordu. Sonuçlar, iki araç için genel doğruluğun sırasıyla yüzde 69 ve yüzde 61 olduğunu gösterdi, karma kategorideki doğruluk ise, bir düzenleme geçişinin gerçekte ürettiği yazı türünde, sıfıra yaklaştı. Aynı çalışma, dil temelli önyargıyla birlikte işleyen ikinci bir önyargıyı da ortaya koydu: bilimsel yazıda doğruluk, beşeri bilimler yazısına kıyasla 28 ila 38 yüzde puanı daha düşüktü.

Bu bulgulardan hiçbiri tek bir kusurlu ürüne işaret etmiyor. Üç yıl arayla, farklı araştırma ekipleri tarafından farklı korpuslar üzerinde test edilen iki ayrı dedektör mimarisi, aynı sonuca varmaya devam ediyor: tür konvansiyonu tarafından şekillendirilen ya da ikinci bir dilin etkisini taşıyan yazı, bu araçların makine yapımı dediği şeye, ne biri ne de diğeri olan yazıdan daha yakın duruyor. TextPulse's free tools, bir yazarın bu istatistiksel profili, herhangi biri bir kurumun dedektörüne ulaşmadan önce kontrol etmesine olanak tanır.

Bağımsız Kanıt, Farkın Gerçek Olduğunu, Bir Test Artefaktı Olmadığını Gösteriyor

TOEFL sonuçlarıyla ilgili ilk sorun, bunların yalnızca 2023’teki küçük bir pilot çalışmaya uygulanabileceği ileri sürülebilmesidir. Buna, aynı araştırma ekibi tarafından, dedektörlerle hiçbir ilgisi olmayan veriler kullanılarak yapılan başka bir çalışmada yanıt verildi. Ekip, ChatGPT var olmadan önce gönderilmiş ve değerlendirilmiş özetlerle örneklemi sınırlayarak, büyük bir makine öğrenimi konferansı olan ICLR 2023’e kabul edilen 1.574 makaleyi inceledi.

İngilizcenin birincil dil olmadığı ülkelerde bulunan yazarlar, ana dili İngilizce olan ülkelerde bulunan yazarlara kıyasla önemli ölçüde daha düşük perplexity ile özetler yazdı ve bu fark, her bir makalenin hakemler tarafından ne kadar yüksek puanlandığı kontrol edildikten sonra bile geçerliliğini korudu. Bu örneklem, herhangi birinin bir chatbot gibi daha çok ya da daha az ses vermeye çalışmasıyla şekillenmiş olamazdı. ChatGPT, gönderim penceresi kapandığında yayıma üç ay uzaktaydı. Ana dili İngilizce olan ve olmayan akademik yazı arasındaki perplexity farkı, detectorların uydurduğu bir şey değildir. Onların miras aldığı bir şeydir.

AI detectionın bir test problemi olarak ele alındığı 2026 tarihli istatistiksel analiz, aynı sonucun biçimsel bir versiyonunu sunar. Bir grup yazarın ürettiği dil, toplu olarak, tipik AI çıktısıyla örtüştüğünde, AI tarafından yazılmış metni gerçekten yakalayabilen herhangi bir detector, özellikle o grup için daha yüksek bir false positive rate taşımak zorundadır, bu, tek bir aracın kusuru değil, çeşitlilik gösteren bir popülasyonu test etmenin matematiksel bir özelliğidir. Ana dili İngilizce olmayan yazarlar, tam olarak bu örtüşmenin en açık belgelenmiş örneğidir.

Bu, İkinci Bir Dilde Yazı Yazanlar İçin Ne Anlama Gelir

Bütün bunlar, kendiniz gibi daha az yazmanız gerektiği yönünde bir sav değildir. Bu, bir skor gelmeden önce gerçekte neyin ölçüldüğünü bilmek için bir nedendir. Metninizi öngörülebilir olarak değerlendiren bir detector, ikinci dilde yazının gerçek bir istatistiksel özelliğini tespit etmektedir, kullanmadığınız bir aracı kullandığınıza dair kanıt değil.

İlk çalışmayı yürüten Stanford araştırmacıları, kendi bulgularının rahatsız edici bir sonucuna dikkat çeker: false positive riskini azaltan aynı sözcük dağarcığı ayarlaması, bir yazarın tamamen ayrı nedenlerle de isteyebileceği türden bir revizyondur, daha açık bir ifade, daha kesin bir sözcük, herhangi bir detectordan bağımsız olarak. TextPulse'un ESL akademik yazarlar için sayfası, bu tür bir revizyonun gerçek cümlelerde nasıl göründüğünü, detection score ile ilgisi olmayan her şeyden ayrı olarak ele alır.

Daha yeni dedektörler bu örüntüyü açık biçimde hesaba katmaya başlıyor. Pangram, daha yeni ticari girişimlerden biri olarak, kendi teknik belgelerinde sınıflandırıcısının ana dili İngilizce olmayan yazarlara karşı önyargılı olmadığını belirtir, ancak bu iddia bağımsız testlerden değil, satıcıdan gelmektedir. ücretsiz perplexity checker, bu araçlardan herhangi birinin bir yazı parçasından hesapladığı aynı temel ölçümü, taslağı önce herhangi bir yere göndermeden gösterir.

Aynı kümede iki pratik yardımcı yer alır: a, an ve the ne zaman kullanılır, ki bu örüntünün en yaygın tek kaynağıdır, ve daha genel olarak İngilizce akademik yazıda doğal nasıl duyulur.

Araştırma, iki yıl sonra da farklı ekipler, farklı dedektörler ve farklı test tasarımları boyunca aynı yönde birikmeye devam ediyor. Buna ayak uyduramayan şey, yaygın biçimde benimsenmiş kurumsal bir yanıttır, herhangi bir yazara güvenmeden önce bir dedektörü farklı yazarlar yelpazesine karşı denetlemek, bunu belirli bir öğrenci zaten suçlandıktan sonra yapmak yerine. Bu rutin hale gelene kadar, yanlış bir işaretlemenin yanlış olduğunu kanıtlama yükü, tam da bu araştırmanın en yüksek olasılıkla bir işaretleme alacağını söylediği yazarlara düşmektedir.