AI Detection

Turnitin AI'yi Adım Adım Nasıl Tespit Eder

Turnitin'in AI yazı dedektörü bir belgeyi bütün olarak okumaz. Bir teslimi parçalara ayırır, her birini puanlar, sonuçları ortalar ve ancak bundan sonra bir raporda yüzdeyi üretir. Bu metin, bu süreci, ChatGPT, Claude ve Gemini genelinde neyi işaretlediğini, bağımsız testlerin neyi kaçırdığını bulduğunu ve sayıyı gerçekte kimin görebildiğini ele alır.

18 min
How does Turnitin detect AI: diagram of the segment, score and average pipeline behind a Turnitin AI writing report

A Turnitin raporu tek bir sayı verebilir, örneğin yüzde kırk iki, ve birisi bunun arkasındaki mekanizmayı araştırmadıkça bunun nasıl elde edildiği hakkında neredeyse hiçbir şey söylemez. Bu sayı belgeden bir bütün olarak okunmaz ve bir tahmin değildir. Bu, her gönderimde aynı şekilde çalışan belirli, belgelenmiş bir sürecin sonucudur.

Öyleyse Turnitin AI'yi nasıl tespit eder? Bir gönderimi parçalara ayırarak, bunları tek tek, AI tarafından üretilmiş olma olasılıklarına veya AI tarafından üretilmiş olup sonra yeniden ifade edilmiş olma olasılıklarına göre puanlayarak ve bu puanları ortalayarak, raporda gösterilen genel yüzde puanını belirler. Bu sürecin her aşaması, dışarıdan tersine mühendislikle çıkarılmış değil, Turnitin'in kendi belgelerinde açıklanmıştır.

Bu özellikle Turnitin'in AI yazma tespit özelliğiyle ilgilidir, bir gönderimi diğer belgelerle karşılaştıran eski benzerlik veya intihal denetiminden ayrı bir sistemdir. Aşağıdaki mekanikler, AI dedektörlerinin gerçekte nasıl çalıştığı sorusunun daha geniş çerçevesi içinde yer alır ve Turnitin, kendi yönteminin çoğunu çoğu sağlayıcıdan daha fazla yayımladığı için özellikle yararlı bir uygulamalı örnektir. Bundan sonra önce süreç, ardından pratikte neleri işaretlediği, bağımsız testlerin neleri kaçırdığını bulduğu ve bir kurum içinde sonucu aslında kimin gördüğü ele alınacaktır.

Turnitin homepage positioning the product for authentic learning in an AI world, with AI writing detection and Turnitin Clarity featured
Turnitin'in kendi çerçevesi, mevcut benzerlik iş akışı içinde AI tarafından üretilmiş yazıyı belirlemek, AI odaklı ürün hattı olarak Clarity ile birlikte.

Turnitin AI'yi Nasıl Tespit Eder? Sürecin Kısa Özeti

Turnitin'in AI yazma dedektörü sabit bir sırayla dört adım çalışır. İlk olarak, bir belgenin hiç puanlanabilmesi için yeterli nitelikli düzyazı metni içerip içermediğini denetler. İkinci olarak, bu metni her biri birkaç yüz sözcükten oluşan bölümlere ayırır. Üçüncü olarak, bir model her bölümü ayrı ayrı puanlar. Dördüncü olarak, bölüm puanları, okuyucunun gerçekten gördüğü tek belge düzeyi yüzdede ortalanır.

AI Yazma Raporu Benzerlik Raporu Değildir

Turnitin AI yazma raporu, intihali denetleyen benzerlik raporundan ayrı bir üründür. Bunlar farklı modeller üzerinde çalışır ve aynı arayüzde farklı sekmelerde gösterilir. Benzerlik puanı, bir gönderimi daha önce yayımlanmış kaynaklar ve diğer öğrenci ödevlerinden oluşan bir veritabanıyla karşılaştırır ve eşleşen yüzdeleri döndürür. AI puanı ise bütünüyle başka bir şey yapar, bir sınıflandırıcı düzyazıyı okur, puanlanan her bölüme AI tarafından üretilmiş olma olasılığı atar ve bu puanları tek bir belge yüzdesi olarak toplar. Farklı şeyleri ölçtükleri için, bir gönderim yüzde 2 benzerlik puanı ve yüzde 60 AI puanı taşıyabilir ya da bunun tersi olabilir.

AI yüzdesi ayrıca göründüğünden daha dardır. Bu, modelin AI tarafından yazıldığını öngördüğü uygun düzyazı oranını, belgenin tamamını değil, tanımlar, çünkü kod blokları, madde işaretleri, başlıklar ve kısa biçimli yazılar puan hesaplanmadan önce çıkarılır. Bu yazı itibarıyla dedektör yalnızca İngilizce, İspanyolca ve Japonca metin üzerinde çalışır.

Birinci Adım: Belgeyi Parçalara Ayırma

Herhangi bir puanlama yapılmadan önce, Turnitin'in modeli gönderimi her biri birkaç yüz sözcükten oluşan parçalara, yaklaşık olarak parça başına beş ila on cümle olacak şekilde ayırır. Bölümlendirme önce gerçekleşir, çünkü model tek bir cümleyi ya da tüm bir tezi tek geçişte değil, bu büyüklükte bir parçayı puanlamak üzere geliştirilmiştir.

Yalnızca düz yazı metni bir chunk için sayılır. Model, uzun biçimli yazıyı okumak üzere tasarlanmıştır. Hem düz yazı hem de tablolar ya da kod içeren bir belge, düz yazı metninin bir yüzdesine sahip olarak puanlanır, ancak belgedeki düz yazı metninin tamamını tanımlamayabilir. Bunun nedeni, dedektörün kod bloklarını, madde işaretli öğeleri veya kısa biçimli metni içermeyen bir veri havuzunu puanlamasıdır. Bu yüzden belge, gönderilen içeriğin yalnızca bir kısmını tanımlayan bir yüzde döndürebilir.

Chunk düzeyindeki puanlamanın adı anılmaya değer daha sessiz bir sonucu vardır. Aksi halde insan tarafından yazılmış birkaç yüz kelimelik bir chunk içinde yer alan tek bir AI taslak cümlesi, o chunk içindeki diğer her şeyle birlikte ortalanır, bu nedenle o chunk'ın kendi puanı üzerindeki etkisi, çevresindeki insan tarafından yazılmış metnin aynı chunk ile ne kadar paylaştığına bağlı olarak seyrelir. Kısa bir AI taslak ekleme yine de modele ulaşır. Sadece ilk kelimesinden son kelimesine kadar AI taslağı olan bir chunk'tan daha az ağırlık taşır.

Adım İki: Her Bir Bölümün Puanlanması

Her chunk, belgedeki diğer tüm chunk'lardan bağımsız olarak kendi başına puanlanır. Model, söz konusu metin parçasının insan tarafından yazılmış, AI tarafından üretilmiş ya da AI tarafından üretilmiş olup sonra yeniden ifade edilmiş olup olmadığını tahmin eder, bu da basit bir evet ya da hayırdan ziyade üçlü bir ayrımdır.

Bu ayrı bir kategoridir ve yalnızca AI tarafından üretilmiş ifadesinin bir uzantısı değildir, bu da yeniden ifade etmenin tespiti zayıflattığına dair gerçek bir sorun olduğunu gösterir. Bu, 2023 tarihli bir çalışma tarafından desteklenmektedir, bu çalışma AI tarafından üretilmiş metni özel bir yeniden ifade etme modelinden geçirmenin, araştırma amaçlı bir dedektör olan DetectGPT'yi %70.3 doğruluktan %4.6 doğruluğa düşürdüğünü, sabit %1 yanlış pozitif oranında bulmuştur. Turnitin'in kendi üç yönlü sınıflandırıcısının aynı tekniğe karşı ne kadar dirençli olduğuna dair bir şey yayımladığı görünmüyor. Bu kategori belgelenmiş bir nedenle vardır.

Parça düzeyinde puanlama yapmak, tüm belge düzeyinde puanlama yapmak yerine, bilinçli bir tasarım tercihidir. İki AI tarafından taslaklanmış paragraf içeren doksan sayfalık bir tez ile bütünüyle AI tarafından taslaklanmış beş sayfalık bir deneme farklı sorunlardır ve parçalar arasında ortalama almak, tek bir belge düzeyi sayının bu farkı düzleştirmek yerine yansıtmasını sağlar.

Turnitin, bu parça başına modelin iç mimarisini, işlem hattı adımları kadar ayrıntılı biçimde yayımlamamıştır. Bu, etiketlenmiş örnekler üzerinde eğitilmiş denetimli bir sınıflandırıcıdır, TextPulse'un AI tespitinde perplexity'nin gerçekte neyi ölçtüğüne ilişkin rehberinde ele alınan ham sonraki belirteç puanının basit bir eşik değeri değildir, ancak aynı temel fikir, alışılmadık derecede öngörülebilir metin, böyle bir sınıflandırıcının fark etmeyi öğrendiği şeyin büyük olasılıkla bir parçasıdır.

Adım Üç: Belge Düzeyi Bir Yüzdeye Ortalamak

Parça puanları, bir raporun gösterdiği tek yüzdeye ortalanır. Bu yüzde, uzun biçimli yazı yalnızca, uygun düzyazı metninin model tarafından AI tarafından üretilmiş ya da AI tarafından üretilip ardından başka sözlerle ifade edilmiş olarak tahmin edilen oranını temsil eder. Bu, puanlanan bölümlerin oranıdır, belgenin sözcüklerinin tam olarak ne kadarının gerçekten bir makine tarafından yazıldığına dair bir iddia değildir.

Rapordaki yüzde ortalamadır. Bu yüzden, her ikisi de yüzde kırk döndüren iki belge yakından bakıldığında farklı görünebilir. Birinde parçalarının yüzde kırkı bütünüyle AI tarafından üretilmiş olarak puanlanmış olabilir. Başka birinde ise her parça kısmen olası olarak puanlanmış olabilir ve bu da aynı başlık sayısına ortalanabilir. Bunun hangi örüntüyle oluştuğunu göstermez.

Turnitin AI writing overview reporting 71% detected as AI, listing 18 segments as AI-generated only at 71% and zero segments as AI-paraphrased at 0%
Bu ortalama alma adımının çıktısı, altında iki kategori bulunan tek bir başlık yüzdesidir. Burada yüzde 71 AI olarak tespit edilmiştir, bunun tamamı yalnızca AI-generated kategorisindedir ve AI-paraphrased kategorisinde hiç yoktur.

Turnitin ChatGPT, Claude veya Gemini'yi Tespit Edebilir mi?

Genellikle evet, bir belge önemli ölçüde AI yazımı içerdiğinde ve sınıflandırıcı bunun hangi sağlayıcı tarafından üretildiğiyle ilgilenmediğinde. Turnitin, modelinin bir marka adından ziyade bir yazım örüntüsü aradığını söyler ve kapsamı, 2023'teki ilk GPT-3.5 ve GPT-4 lansmanından bu yana defalarca genişletilmiştir. Mevcut kılavuz, GPT-5 serisini, Gemini ve Claude'u, üzerinde eğitildiği sistemler arasında adlandırır ve yeni model sürümleri sürekli olarak eklenmektedir. Bunun yerine Gemini, Claude veya DeepSeek kullanan bir öğrenci, yalnızca farklı bir şirket seçerek dedektörü aşmış olmaz.

Bu durumun etkilediği gönderim oranı artmıştır. Turnitin'in Ekim 2025 ile Şubat 2026 arasında taradığı denemelerin yaklaşık yüzde 15'i, yüzde 80 veya daha fazla AI tarafından üretilmiş yazım gösterdi, bu oran aracın Nisan 2023'te kullanıma sunulduğunda yaklaşık yüzde 3 idi.

Parafraz edilmiş AI metni, serbest geçiş yerine kendi kategorisine girer, yukarıda açıklanan üçlü sınıflandırma budur. Turnitin'in belgeleri, yalnızca AI tarafından üretilmiş olduğunu değerlendirdiği metin ile AI tarafından üretilmiş ve ardından AI tarafından parafraz edilmiş olduğunu değerlendirdiği metni birbirinden ayırır ve Ağustos 2025'te, makine çıktısını bir dedektörün ötesinde yeniden yazmak için tasarlanmış AI bypasser araçlarını özellikle hedefleyen bir tespit ekledi. Bu, parafraz etmenin anlamsız olduğu ya da yeniden yazılmış her pasajın yakalandığı anlamına gelmez. Bu, parafraz etmenin varsayılan olarak Turnitin için görünmez olduğu varsayımının bir süredir güncel olmadığını ifade eder. Aracın özellikle parafraz edilmiş metinle ve DeepSeek çıktısıyla ne yaptığı ayrı olarak ele alınmaktadır.

Kendi makalenizi insanlaştırın

AI destekli metninizi dönüştürün ve önemli kelimelere ya da atıflara dokunmadan, insan tarafından yazılmış gibi duyulmasını sağlayın.

Ücretsiz başlayın

Asgari Kelime Gereksinimi ve Yıldız İşareti Eşiği

Bir gönderimin, Turnitin'in AI dedektörünün herhangi bir puan üretmesi için en az 300 kelime nitelikli düz yazı metni içermesi gerekir, bu sayı önceki 150 kelimelik asgari sınırdan yükseltilmiştir. Bu uzunluğun altında, segmentleme ve ortalama alma sürecinin çalışması için yeterli metin yoktur.

300 kelimelik alt sınır, daha önce açıklanan tek bir puanlama parçasının boyutuyla, birkaç yüz kelime, beş ila on cümle, örtüşür. Tam minimumda olan bir belge, aslında boru hattına ortalaması alınacak birkaç parça değil, yalnızca yaklaşık bir parçalık nitelikli metin verir. Bu da, o alt sınırı yakınında duran bir raporun, bir sonraki eşik tarafından işaretlenmek üzere tasarlanan daha az güvenilir aralığa düşme olasılığını artıran nedenin bir parçasıdır.

Turnitin ayrıca yüzde 20 eşiğinin altındaki bir yüzdeleri de göstermez. Temmuz 2024'ten beri rapor, bir sayı yerine yüzde işaretinin yanında bir yıldız işareti gösterir. Rapor davranışının bu tek unsuru, boru hattının diğer herhangi bir kısmından daha fazla karışıklık yaratır, bu nedenle aşağıda kendine ait bir bölüm alır.

KoşulRaporun gösterdiği şeyNeden
300 kelimeden az nitelikli düz yazıHiç AI puanı yokParçala ve ortala boru hattının güvenilir biçimde çalışması için yeterli metin yok
Puan yüzde 20'nin altına düşecekBir sayı değil, yüzde işaretinin yanında bir yıldız işaretiTurnitin'in kendi belgeleri, bu aralıkta ölçülebilir biçimde daha yüksek bir yanlış pozitif oranı bildirmektedir
Puan yüzde 20 veya daha yüksekBelirli bir yüzdeTurnitin tarafından sayı olarak gösterilecek kadar güvenilir kabul edilir

Turnitin'de Yıldız İşaretli Puan Ne Anlama Gelir?

Turnitin AI yazma raporundaki bir yıldız işareti, modelin bazı AI yazımı tespit ettiğini, ancak belgenin yüzde 20'sinden azını tespit ettiğini ve Turnitin'in bu aralıkta bir sayı yayımlamayı reddettiğini gösterir. Normalde bir yüzdelerin yer alacağı yerde, rapor bunun yerine yüzde işaretinin yanında bir yıldız işareti gösterir. Turnitin'in kendi ürün belgeleri bunu doğrudan belirtir: "Rapor içinde AI yüzde 20 eşiğinin altında tespit edildiğinde, bu artık bir yıldız işareti (*%) ile belirtilir ve hiçbir yüzde atanmaz."

Bu nedenle bir yıldız işareti bir hata, eksik bir puan ya da yükleme sırasında bir şeylerin ters gittiğinin işareti değildir. Bu, satıcının güvenilir olduğunu basmaya yeterli görmediği bir değeri gizlemek için verdiği bilinçli bir karardır.

Turnitin neden 20 yüzde altındaki sayıyı gizler

Çünkü bu aralık, aracın en çok yanlış yapma olasılığının bulunduğu yerdir ve Turnitin'in kendi doğruluk vaadi bu aralığı dışarıda bırakacak şekilde kapsamlandırılmıştır. Şirket, "20%'den fazla AI writing içeren belgeler için" yanlış pozitif oranını "1%'in altında" tutmayı taahhüt eder. Kapsamı dikkatle okuyun: bu taahhüdün içinde yerleşik bir alt sınır vardır ve bu alt sınır da aynı 20 yüzde'dir. Bu çizginin altında şirket aynı güvenilirliği iddia etmez, bu yüzden bir okuyucunun kaçınılmaz olarak kesin kabul edeceği küçük bir sayıyı basmak yerine hiçbir şey basmaz. Yıldız işareti, yanlış pozitifleri önlemek için vardır, yani bir eğitmene insan tarafından yazılmış bir belgeyi yanlış yansıtacak bir değer vermekten kaçınmak için vardır.

Bu gerekçe, daha önce açıklanan mekaniklerle uyumludur. Belge düzeyindeki bir puan, birkaç yüz kelimelik parçaların ortalamasıdır. Bu parçaların yalnızca küçük bir kısmı AI olarak puanlandığında, ortaya çıkan ortalama çok az sinyale dayanır ve işlem hattı gerçek bir 8 yüzde ile sahte bir 8 yüzdeyi güvenilir biçimde ayıramaz. Sayıyı göstermemek buna verilen dürüst yanıttır ve bu, 300 kelimelik asgari sınırın arkasındaki aynı yaklaşımdır.

Yıldız işaretinin üniversitede pratikte ne anlama geldiği

Pratikte çoğu kurum yıldız işaretini üzerinde işlem yapılacak bir şey olarak görmez ve bunu insan tarafından yazılmış çalışmayla uyumlu düşük bir puan olarak okur. Gerekçe açıktır. Dedektörü geliştiren satıcı bu aralıkta bir değerin arkasında durmayacaksa, bir eğitmenin bir öğrenciye yöneltebileceği somut bir mesele yoktur, bırakın bunu bir disiplin kuruluna taşıyacak bir şey olsun. Çoğu akademik dürüstlük süreci için yıldız işareti içeren bir rapor, işlevsel olarak temiz bir rapora denktir.

Bu, sonucun nasıl kullanıldığının bir tanımıdır ve bir sonuçla karşı karşıya iseniz bunu bilmek önemlidir. Ancak bu, belgenin gerçekte ne olduğuna ilişkin bir bulgu ile aynı şey değildir ve bu ayrım her iki yönde de önemlidir.

Asterisk ne anlama gelmez

  • Bu, insan yazarlığının bir sertifikası değildir. Turnitin, belgeye güvenle puan vermekten kaçınmaktadır, bu da yazar hakkında değil, algılayıcı hakkında bir ifadedir.
  • Bu, sıfır ile aynı değildir. Hiç AI yazımı içermeyen bir belge ile bir AI destekli paragraf içeren bir belge aynı asteriski üretebilir, tam da bu nedenle sayı gizlenir.
  • Bu, gönderimler arasında karşılaştırılabilir değildir. İki asterisk, her iki belgenin de aynı eşik altında kaldığını söyler, birbirleriyle nasıl karşılaştırıldıkları hakkında hiçbir şey söylemez.
  • Bu, benzerlik puanı değildir. İntihal eşleştirmesi ayrı bir sekmede yer alan ayrı bir rapordur ve AI göstergesinin ne yaptığına bakılmaksızın kendi yüzdesini gösterir.

Buradan çıkarılmaya değer pratik sonuç şudur: hafif bir AI destekli düzenleme, bir paragrafın yardım alınarak yeniden yazılması ve geri kalanının yardımsız yazılması, çoğu zaman küçük bir yüzde yerine bir asterisk üretir. Ne bir sayının varlığı ne de yokluğu soruyu tek başına çözer, aşağıdaki doğruluk rakamlarının da diğer yönden vardığı sonuç aynıdır.

Turnitin Doğruluk Hakkında Ne İddia Ediyor ve Bu Sayılar Kime Ait

Turnitin kendi doğruluk rakamlarını yayımlar ve bunlar tam da oldukları gibi okunmaya değerdir, yani satıcının kendi doğrulama rakamlarıdır, bağımsız bir denetim değildir. Yayımladığı materyal, modelin %20 AI yazımı üzeri puan verdiği belgeler için %1'in altında bir yanlış pozitif oranı olduğunu belirtir, bu eşik yukarıda açıklanan asterisk kesme noktasıyla örtüşür. Aynı program daha sonra algılayıcı yanlılığı üzerine yapılan araştırmalara yanıt olarak English Language Learner yazı örneklerine genişletilmiştir.

Turnitin, bu oranı ChatGPT ortaya çıkmadan önce gönderilmiş insan yazımı makalelerden oluşan geniş bir temel veri kümesine karşı doğruladığını söylüyor. Turnitin'in materyalleri, bu temel veri kümesinin tam büyüklüğü konusunda tutarsızdır, SSS sayfası 700,000 makaleden söz ederken, Turnitin'in Baş Ürün Sorumlusu tarafından yazılan bir blog yazısı aynı yüzde 1'in altında iddiasını her ikisine de iliştirerek 800,000 sayısını verir. Turnitin'in materyalleri ayrıca şirketin kendi anlatımına göre bir ödünleşimi de açıklar, AI tarafından üretilen içeriği daha agresif biçimde yakalamak, bunun yaklaşık %15'ini kaçırmak anlamına gelir.

Şirket, kamuya açık biçimde kendi iddialarını da revize etmiştir. 2023 yılında, lansmandan kısa süre sonra, Turnitin'in baş ürün sorumlusu, laboratuvar testlerinin gerçek kullanımda kaç yanlış pozitif ortaya çıkacağını, özellikle kısa gönderimlerde, öngöremediğini kabul etmiş ve cümle düzeyinde yaklaşık %4'lük bir yanlış pozitif oranı bildirmiştir. Bu boşluğa verilen yanıt, en düşük puanlanabilir uzunluğun 150 kelimeden 300 kelimeye çıkarılması olmuştur.

Birlikte okunduğunda, bu rakamlar tek bir doğruluk sayısından ziyade belirli bir ödünleşimi tanımlar. %1'in altındaki bir yanlış pozitif oranı, sisteme kaç gönderimin girdiğiyle ölçeklendiğinde neredeyse ihmal edilebilir görünür, %15'lik bir kaçırma oranı ise AI tarafından üretilen içeriğin anlamlı bir bölümünün tasarım gereği, bir arıza nedeniyle değil, insan olarak puanlandığı anlamına gelir. Turnitin'in kendi materyalleri, bu iki sayıyı aracın basitçe doğru ya da basitçe yanlış olduğuna dair kanıt olarak değil, sistemin amaçlanan dengesi olarak sunar.

Bağımsız Testlerin Buldukları

Bağımsız testler, satıcı rakamlarının vermediği ayrıntıları, AI dedektörlerinin bağımsız testlerinin laboratuvar koşulları ile gerçek gönderimler arasındaki boşlukları sürekli ortaya koymasıyla aynı ruh içinde, ekler. Temple University'nin Center for the Advancement of Teaching bir daha dikkatli incelemelerden birini yürüttü. Araştırmacılar, tamamen insan yazımı, tamamen AI tarafından üretilmiş yazı, bir paraphrasing aracı üzerinden geçirilmiş AI tarafından üretilmiş yazı ve insan ile AI katkılarını birleştiren hibrit metinler arasında eşit olarak bölünmüş 120 yazı örneği sundu ve Turnitin'in her biri için ne döndürdüğünü kaydetti.

Araç, tamamen insan tarafından oluşturulmuş örneklerin 93 percent'ini ve tamamen AI tarafından üretilmiş örneklerin 77 percent'ini doğru biçimde belirledi. Daha zor sorularda doğruluk daha da düştü. Turnitin, yeniden ifade edilmiş AI örneklerinin yalnızca 63 percent'ini AI tarafından üretilmiş olarak, hibrit örneklerin ise yalnızca 43 percent'ini ne tamamen insan ne de tamamen AI olarak doğru biçimde belirledi. Bunlar, AI destekli yazının gerçekte nasıl üretildiğine en yakın kategorilerdir ve araştırmacılar, daha fazla dersin görevin bir kısmı için AI kullanan çalışmaları ödev olarak vermesiyle birlikte, hibrit metnin özellikle gerçek teslimlerin büyük ve giderek büyüyen bir bölümünü oluşturmasının muhtemel olduğunu belirtti.

What was testedTurnitin's result
100% human-written samples93% correctly identified as human
100% AI-generated samples77% correctly identified as AI
AI text run through a paraphrasing tool63% correctly identified as AI
Hybrid samples, part human and part AI43% correctly identified as neither 0% nor 100%
Documents with over 20% flagged (Turnitin's own figure)Under 1% false positive rate

Bunların hiçbiri Turnitin tarafında bağımsız bulgular değildir. Şirket dışındaki araştırmacılar, Turnitin'in kendi yanlılık çalışmalarına ilişkin haberlerde aktarıldığı üzere, özellikle ana dili İngilizce olmayan yazarlar ve yoğun biçimde düzenlenmiş taslaklar için daha karmaşık bir tablo ortaya koymaktadır.

Cümle Düzeyindeki Vurguların Nerede Yetersiz Kaldığı

Düzeyindeki belge puanı, bir öğretmenin açabileceği tek görünüm değildir ve diğer görünüm daha az güvenilirdir. Bazı arayüzler, belirli cümleleri olası AI tarafından yazılmış olarak vurgulayan bir bayrak raporu gösterir. Temple araştırmacıları, bu vurguları, karma örneklerindeki hangi cümlelerin gerçekten AI tarafından yazılmış olduğuyla karşılaştırdı ve ikisi arasında hiçbir ilişki bulmadı. Bu, bir öğretmenin özet yüzdelik yerine vurgulanmış bir paragrafın ekran görüntüsünü iletmesi durumunda önemlidir, çünkü genel belge puanı, cümle düzeyindeki vurgulardan belirgin biçimde daha iyi performans göstermiştir.

Puanı Gerçekte Kim Görür

AI puanı, varsayılan olarak öğrenciye yönelik raporun bir parçası değildir. Kendi sekmesinde yer alır, öğretmenler ve yöneticiler tarafından görülebilir ve bir öğrenci bunu yalnızca öğretmen raporu paylaşmayı seçerse ya da doğrudan gösterirse görür. Bu, benzerlik puanından gerçek bir yapısal farktır, çünkü öğrenciler genellikle bir gönderim işlendiğinde aynı sistem içinde bunu kendileri görüntüleyebilir.

Aynı durum, özelliğin belirli bir ders için hiç mevcut olup olmadığı için de geçerlidir, bu da öğretmenin ötesinde kurumsal bir karardır. Hesap düzeyindeki yöneticiler, Turnitin'in AI tespitini bir kurumun tamamı için açıp kapatabilir. Bir öğretim üyesi, üniversitesi bunu kapattıysa özelliği açamayabilir, ya da tersi olabilir. Farklı üniversitelerdeki iki öğrenci, yazdıklarıyla hiçbir ilgisi olmayan nedenlerle, karşılaştırılabilir çalışmalar sunup bu araçla çok farklı deneyimler yaşayabilir.

Bazı Üniversiteler Neden Bunu Kapatmıştır

University of Waterloo, Turnitin'in AI tespit özelliğini Eylül 2025'te kullanımdan kaldırdı ve yayımladığı gerekçe alışılmadık derecede açıktı. Üniversite, aracın belgelenmiş güvensizliğini, ilk dili English olmayan öğrencilere karşı önyargısını ve en az bir durumda tamamen insan tarafından yazılmış bir metnin yüzde 100 AI tarafından üretilmiş olarak puanlandığı kendi iç testlerini gerekçe gösterdi. Aracın maliyetiyle birlikte değerlendirildiğinde, üniversite maliyetlerin faydalardan ağır bastığı sonucuna vardı ve bunun yerine çabayı değerlendirme tasarımını yeniden düzenlemeye ve AI okuryazarlığı eğitimine yönlendirdi.

Waterloo, daha geniş bir ayrışmanın yalnızca görünen bir örneğidir, bir aykırılık değildir. Özelliği açık tutan üniversiteler, genellikle skoru tek başına bir hüküm olarak ele almak yerine ek güvenceler getirmiş, herhangi bir resmî süreç başlamadan önce öğrenciyle bir görüşme yapılmasını şart koşmuş ve sayıyı, o görüşmeyi kapatmak için değil açmak için bir gerekçe olarak değerlendirmiştir. Üniversitelerin AI politikasını nasıl ele aldığını daha geniş biçimde okumak, örüntüyü daha açık hâle getirir: bir skorun size hiç ulaşıp ulaşmaması, teknolojinin kendisine ait sabit bir özelliğe değil, seminer odanızın çok üstünde alınmış bir karara bağlıdır.

Yüksek Bir Skor Ne Kanıtlar, Ne de Kanıtlamaz

Yüksek bir AI skoru, bir kanıttır, bir hüküm değildir. Turnitin'in kendisi, yüzdelik değeri bir suistimal bulgusu olarak değil, bir öğretim üyesinin yargısı için veri noktalarından biri olarak çerçeveler ve yukarıdaki doğruluk oranları bu çerçevenin neden önemli olduğunu açıklar: belge düzeyinde makul ölçüde iyi çalışan bir skor bile, yoğun biçimde düzenlenmiş, yeniden ifade edilmiş ya da hibrit yazının kayda değer bir kısmını yanlış okur ve cümle düzeyindeki vurgular, özet sayıya göre belirgin biçimde daha az güvenilirdir. Bunların hiçbiri, herhangi bir tekil skorun yanlış olduğunu garanti etmez. Anlamı şudur: tek bir yüzde, gözü kapalı kabul edilecek bir bulgu değil, soru sormak için bir nedendir.

Belge düzeyindeki tek bir yüzde, dört ayrı adımı tek bir sayıda yoğunlaştırır ve bu adımların hiçbiri anlamı okumaz ya da bir argümanın sağlam olup olmadığını denetlemez. Böyle bir sürecin dayandığı temel istatistiksel sinyaller üzerinde daha kısa bir parçanın nasıl puanlandığını görmek, yüzdeliği bir hüküm olarak ele almaktan daha doğrudan bir okuma yoludur. TextPulse'un ücretsiz perplexity denetleyicisi, kurumsal herhangi bir süreç dışında, kendi taslağınıza karşı bu tür sözcük düzeyindeki puanlamanın sadeleştirilmiş bir sürümünü çalıştırır ve ücretsiz burstiness denetleyicisi aynı ölçümün cümle ritmi kısmını kapsar. İkisi de size kendi yazınız hakkında bir okuma sunar, Turnitin'in onun hakkında ne söyleyeceğine dair bir tahmin sunmaz. Hiçbir araç, denetlemediği bir sistem hakkında bunu sorumlu biçimde vaat edemez.

Turnitin iki sayı raporlar ve bunlar birbiriyle ilgisiz şeyleri ölçer. Hangisinin hangisi olduğu ayrı olarak açıklanmıştır, ayrıca yüzde neyi ifade ettiğini öğrendikten sonra gerçekte neyin iyi bir Turnitin puanı sayıldığı da belirtilmiştir. İlgili birkaç sorunun kendi sayfaları vardır: bir profesörün ChatGPT kullandığınızı anlayıp anlayamayacağı, herhangi bir dedektör olmadan bile, bunun daha açık biçimi olan yakalanır mıyım, ve belirli bağlamlar için hemşirelik programlarında AI tespiti ile üniversite kabul ofislerinin bu kontrolleri yapıp yapmadığı. Daha geniş çerçeve, akademik dürüstlük ve AI üzerine ayrı bir yazıda ele alınır.

Bunların hiçbiri muhtemelen son sürüm değildir. Turnitin, 2023'ten bu yana eşiklerini, görünürlük kurallarını ve model kapsamını birden fazla kez yeniden yazdı ve Ağustos 2026 da son söz olmayacaktır. Bir kurumun yüzdesini nihai söz olarak kabul etmeden önce ikinci bir gösterge isteyen herkes için, TextPulse'un ücretsiz araçlar koleksiyonu içinde yer alır.

Kendi Araştırmamız Ne Buldu

TextPulse Research'ün dedektör uyum çalışmasında dokuz ticari yapay zeka dedektörü aynı 90 akademik metni puanladı. Bunlardan biri 455 kelimelik bir hibrit metindi: insan yazımı bir giriş ve kapanış, ortada 168 kelimelik yapay zeka üretimi bir bölüm. Turnitin bu metne 26.8% yapay zeka puanı verdi; diğer araçların aynı kelimeler için verdikleri kararlar ise 0% ile 95.7% arasında dağıldı. Makalenin tamamı, derlem ve araç bazlı puan matrisi TextPulse Research adresinde açık erişimde.

Çalışma derlemindeki hibrit metinde Turnitin.
Çalışma derlemindeki hibrit metinde Turnitin.
XLinkedInFacebook

Sıkça Sorulan Sorular

Turnitin AI'yi nasıl tespit eder? Bir teslimi birkaç yüz kelimelik bölümlere ayırır, her bölümü tek tek AI tarafından üretilmiş ya da AI tarafından üretilmiş olup sonra yeniden ifade edilmiş gibi görünüp görünmediğine göre puanlar, ardından bu bölüm puanlarını raporda gösterilen tek bir yüzdeye ortalar. Süreç, asgari kelime sayısını karşılayan her teslimde aynı şekilde işler.

Moe

PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.

AI insanlaştırma hakkında güncel kalın

Akademik yazım, AI tespiti ve insanlaştırma hakkında ipuçlarını gelen kutunuza alın.

Spam yok. İstediğiniz zaman abonelikten çıkabilirsiniz.