Turnitin İnsanlaştırılmış AI Metnini Tespit Edebilir mi?

Turnitin bu soruyu kendi destek sitesinde yanıtlar ve yanıt, olağan tartışmanın her iki tarafından da daha özeldir. Turnitin says, yapay zeka yazım göstergesi, insanlaştırılmış olabilecek ya da tespitten kaçınmak için bir bypasser üzerinden geçirilmiş yapay zeka tarafından üretilmiş içeriğin tespitini zaten içerir. Bu, satıcının kendi ürününü tanımlamasıdır. Başlamak için de doğru yerdir, çünkü modelin neyi kapsadığını size söyler.

Öyleyse, Turnitin insanlaştırılmış metni tespit edebilir mi? Soru, daha dar ve daha yararlı bir biçimde ele alınabilir. Turnitin'in modeli, bir humanizer'ın parmak izini aramaz ve araçların bir listesini tutmaz. Düz yazıyı, yazının makine tarafından üretilmiş metnin istatistiksel örüntüleriyle ne kadar yakından eşleştiğine göre cümle cümle puanlar, ardından bu puanları belgenin geneline yayarak ortalama alır. İnsanlaştırılmış bir pasajın yine de yüksek puan alıp almaması, yeniden yazımın bu örüntünün ne kadarını değiştirdiğine ve belgenin ne kadarının gerçekten yeniden yazıldığına bağlıdır.

Turnitin İnsanlaştırılmış Metni Tespit Edebilir mi? Turnitin Ne İddia Ediyor

Yayımlanmış tutumları açık bir evettir. Bir humanizer üzerinden geçirilmiş içeriği tespit edip edemeyeceği sorusuna yanıt verirken, yönergeleri şöyle der: "Yes, Turnitin's AI indicator includes detection of AI-generated content that may have been humanized or passed through a bypasser to avoid detection." Aynı sayfa, AI paraphrasing tools için de aynı yanıtı verir.

Bu iddia, raporda başka bir yerde ikinci bir sayı olarak görünmez. Turnitin bunu tek bir AI writing percentage içine dahil eder ve bu yüzdelik değerin yayımlanmış tanımı bunu doğrudan söyler: modelin muhtemelen AI tarafından üretildiğine karar verdiği ya da muhtemelen AI paraphraser veya bypasser tarafından üretilip sonra değiştirildiğine karar verdiği metni kapsar. Tek bir puan vardır ve modelin yapabildiği ölçüde yeniden yazımı zaten hesaba katar.

Dikkatle okuyun, bu bir doğruluk beyanı değil, kapsama ilişkin bir beyandır. Turnitin, model oluşturulurken insanlaştırılmış metnin kapsam içinde olduğunu söylüyor. Bu, her insanlaştırılmış belgenin yüksek puan aldığı anlamına gelmekten çok uzaktır ve aşağıda yer alan kendi yayımlanmış verileri, tek tek cümleleri belirsiz olarak ele alan bir modeli tanımlar.

AI Writing Indicator Aslında Neyi Puanlıyor

Bu bir yüzde değildir. Bu, metnin bir kesridir, dolayısıyla bir güven düzeyi değildir. Bu, belgeniz içindeki metnin ne kadarının modelimizin AI tarafından üretilmiş olma ihtimali taşıdığının bir ölçüsüdür. Biz buna nitelikli metin diyoruz, bu da uzun biçimli yazım formatındaki düzyazı cümleleri anlamına gelir. Madde işaretli listeleri, kodu, tabloları veya kısa parçaları içermez. Bu yüzden, aynı makale için, ne kadarının kesintisiz düzyazı olduğuna bağlı olarak farklı sayılar görebilirsiniz.

Alttaki mekanizma, gözde canlandırılabilecek kadar basittir. Turnitin bir belgeyi, her biri yaklaşık birkaç yüz kelimeden, yaklaşık beş ila on cümleden oluşan, her cümlenin bağlam içinde puanlanması için üst üste bindirilmiş segmentlere ayırır. Her cümle 0 ile 1 arasında bir değer alır. Segment puanları daha sonra belgenin tamamında ortalanarak bir eğitmenin gördüğü tek sayı elde edilir. Turnitin AI'yi nasıl tespit eder başlıklı adım adım anlatım, her aşamayı daha ayrıntılı biçimde ele alır.

Bu ortalama alma adımı, insanlaştırılmış metin için boru hattındaki diğer her şeyden daha önemlidir ve neredeyse hiç kimsenin hesaba katmadığı kısımdır. Bir eğitmenin okuduğu rakam, segment düzeyindeki yargıların aritmetik ortalamasıdır. Bir belge yarı yarıya yeniden yazılmış olabilir ve yeniden yazmanın ne kadar iyi olduğuyla pek ilgisi olmayan nedenlerle ortalarda bir yere düşebilir.

İnsanlaştırılmış Çıktı Neden Bazen Hâlâ Yüksek Puan Alır

En yaygın neden kapsama alanıdır. Bir insanlaştırıcı giriş ve sonuç bölümüne uygulanıp literatür taraması ile tartışma bölümlerini olduğu gibi bırakırsa, bu bölümler kendi özgün puanlarını doğrudan ortalamaya taşır. Uzun bir bölümde, açılış sayfalarının yeniden yazılması yalnızca birkaç bölümü değiştirir ve geri kalanını tam olarak oldukları gibi bırakır, bu da yazarın önemli görünen bir çalışmadan beklediğinden daha küçük bir değişim üretir.

İkinci neden, yeniden yazımın derinliğidir. Kelime dağarcığını değiştirirken cümle uzunluklarını, yan cümle sırasını ve geçiş tercihlerinin yerini koruyan bir işlem, sınıflandırıcının üzerinde eğitildiği örüntüyü büyük ölçüde olduğu gibi bırakır. Model, düzyazının biçimini puanlar, bu yüzden bu biçimi hangi sözcüklerin doldurduğunu değiştirmek çoğu kişinin varsaydığından daha az etki eder. Bir ücretsiz perplexity denetleyicisi, bir yeniden yazımdan sonra bir pasajın ne kadar öngörülebilir okunduğunu gösterecektir, bu da önce ve sonra arasındaki sözcük düzeyindeki bir karşılaştırmadan daha bilgilendirici bir sinyaldir.

Üçüncü neden, bir yeniden yazımın kendi düzenliliğini kurabilmesidir. Her paragrafa aynı dönüşümü uygulayan bir yazılım parçası, eski olan kadar düzenli yeni bir örüntü üretir. Eğer her cümle aynı türden bir eklem kesimi içeriyorsa ya da her cümleye aynı yere aynı türden bir çekingenleştirme yan cümlesi ekleniyorsa, bu cümleler bir sınıflandırıcı tarafından, baştan beri hepsi aynı uzunlukta olsalardı görülecekleri kadar eşit biçimde görülecektir.

Durum	Yapay zekâ puanının yaptığı	Neden
Belgenin yalnızca bir kısmı yeniden yazıldı	Beklenenden daha az düşer	Dokunulmamış bölümler kendi özgün puanlarını ortalamaya taşır
Kelime dağarcığı değişti, cümle yapısı korundu	Çok az hareket eder	Sınıflandırıcı, değişimin yerinde bıraktığı cümle düzeyi örüntüleri puanlar
Cümleler boyunca gerçekten yeniden yapılandırma yapıldı	Daha fazla hareket eder	Modelin tanımak üzere eğitildiği tekdüze ritim bozulur
300 kelimeden az düzyazı gönderildi	Hiç puan oluşmaz	Turnitin, bir yüzde bildirmeden önce 300 kelimelik uygun düzyazı gerektirir
Sonuç 20 yüzde altına düşer	Bir rakam yerine yıldız işareti	Turnitin, bu aralıktaki sonuçları daha az güvenilir olarak işaretler

Aynı Yeniden Yazım Neden Bazen Düşük Bir Puan Üretir

İnsanlaştırılmış bir belge, yeniden yazımla ilgisi olmayan nedenlerle düşük bir puanla geri dönebilir. Turnitin, herhangi bir AI yüzdesi üretmeden önce en az 300 kelimelik uygun düzyazı ister, bu alt sınırı, doğruluğun biraz daha fazla metinle arttığı yönündeki belirtilen gerekçeyle başlangıçtaki 150 kelimeden yükseltmiştir. Kısa bir yansıtıcı metin hiçbir sayı üretmez ve puanın olmaması, temiz bir puanla aynı şey değildir.

Turnitin, 20 yüzde altındaki bir aralığı tam bir yüzde vermek yerine yıldız işaretiyle işaretler, çünkü bu aralıkta yanlış pozitiflerin görülme sıklığı daha yüksektir. Lansman sırasında eğitim raporlaması da bu davranışa değinmiş, 20 yüzde altından daha az AI tarafından yazıldığı bildirilen sonuçların daha yüksek yanlış pozitif görülme sıklığına sahip olduğunu söylemiş ve bu nedenle Turnitin uyarı notları eklemiştir. Bu bantta yer alan bir belge, Turnitin'in tam olarak raporlamayı reddettiği bir aralık olarak işaretlenmiştir, bu da temizlenmiş olmaktan farklı bir şeydir.

Ayrıca bütün bunların üzerinde kurumsal bir kapı da vardır. Turnitin, bir gönderimi yalnızca kurum bu özelliği açmışsa AI yazımı tespiti için işler ve yöneticiler bunu hesap genelinde devre dışı bırakabilir. Vanderbilt University bunu Ağustos 2023'te tam olarak yaptı, gerekçe olarak Turnitin'in o tarihte yayımlanmış yaklaşık 75.000 yıllık gönderime karşı yüzde 1 yanlış pozitif oranını, ana dili İngilizce olmayan yazarlar aleyhine önyargıyı ve modelin nasıl çalıştığına ilişkin şeffaflık eksikliğini gösterdi. Özelliğin kapalı olduğu bir kurumda okuyan bir öğrencinin, insanlaştırılmış olsun ya da olmasın, herhangi bir gönderiminde AI puanı olmaz.

Yeniden yazım gerçekten yapısal olduğunda ise, ölçülen örüntü değiştiği için puan düşebilir. Turnitin, yazım örüntülerinden hesaplanan bir tahmin raporlar, bu nedenle örüntüleri farklı olan metinler farklı puan alır. Mekanizma her iki yönde de işler, rahatsız edici olan da budur, özgün insan yazısı bazen tam aynı nedenle yüksek puan alır.

Her Bir Humanizer Sağlayıcısının İddiaları ve Belgelendirilenler

Tabloyu tek bir kural yönetir. Orta sütun, sağlayıcının kendi pazarlama dilidir, ve bu dil, söz konusu site bunu sağlayabildiği her yerde doğrudan kendi sitesinden alınmıştır. Sağ sütun, her iddianın gerçekte neye dayandığını kaydeder, ki çoğu durumda bu hiçbir veri kümesi, tarih ya da yöntem değildir. Bu markalar için kamuya açık bir bire bir karşılaştırma testi yoktur.

Marka	Satıcının iddiası	Belgelendirilen durum
Undetectable.ai	AI dedektörlerini geçmeyi, bir ürün özelliği olarak, herhangi bir sayı vermeden listeler ve çıktı insan değil diye işaretlenirse insanlaştırma maliyetini iade etmeyi teklif eder	İade, ticari bir koşuldur, iddianın arkasında bir veri kümesi, tarih ya da dedektör bazında sonuç yoktur
QuillBot	Kendi sayfalarında humanizer özelliği için tek başına bir tespit veya aşma iddiasında bulunmaz. Ayrı AI dedektörü yalnızca AI tarafından üretilen içeriği tespit ettiği şeklinde tanımlanır	QuillBot, humanizer'ı genel bir yazım paketinin içinde satar ve bunun için Turnitin'e özgü bir iddiada bulunmaz
WriteHuman	Bir Humanizer Leaderboard'da bir numara olarak sıralanır ve ciddi yazım için premium AI humanizer olarak tanımlanır	Leaderboard herhangi bir yöntem ya da örneklem belirtmez ve WriteHuman sıralamaya sayısal bir doğruluk oranı eklemez
Walter Writes AI	Turnitin'e özgü bir iddia olmaksızın 80+ dilde geniş kapsamlı insanlaştırma pazarlaması yapar	Her iki yönde de test verisi yoktur
HIX Bypass	Turnitin'e özgü bir oran vermeden dedektör bazında aşma sayfaları pazarlaması yapar	HIX Bypass ve BypassGPT ayrı alan adlarında yer alan ayrı ürünlerdir, bu nedenle bir iddianın hangisini anlattığını doğrulayın
StealthGPT	Turnitin'de ortalama %98 insan, GPTZero'da %95, her biri 30 örnekten oluşan belirtilmiş bir çalışmada sıfır tespit ile, ayrıca bir abone tespit edilirse para iade garantisi	Kendi beyanıdır. Rakamların yanında herhangi bir veri kümesi, örnek seçimi, tarih veya yöntem yayımlanmaz ve 30 belge, milyonlarca gönderimi puanlayan bir model hakkında iddia için küçük bir çalışmadır
Phrasly	Kendisini bir AI tespit kaldırıcı olarak konumlandırır, test verisi yayımlamaz	Her iki yönde de kamuya açık bir iddia yoktur. İncelemelerde dolaşan rakamlar ikinci eldir ve burada ilke gereği dışlanmıştır
Grammarly	Yeniden yazımını hiçbir şekilde tespit aşma olarak pazarlamaz. AI dedektörü sayfası %99 tespit doğruluğu ve RAID'in bağımsız ölçütünde bir numaralı sıralama iddia eder	Aynı Grammarly sayfası, hiçbir AI dedektörünün %100 doğru olmadığını belirtir. Authorship özelliği metni bir insan tarafından yazılmış, AI ile oluşturulmuş ya da Grammarly ile düzenlenmiş olarak etiketler
TextPulse	2.000 belgeli bir akademik derlem üzerinde ölçülen, Turnitin AI'da %92.33 geçme oranı, Originality.ai'da %89.12 ve GPTZero'da %87.91	TextPulse tarafından ölçülmüş ve yayımlanmıştır, bu nedenle yukarıdaki her rakam gibi kendi beyanıdır. Derlem büyüklüğü ve dedektörler adlandırılmıştır, herhangi bir tekil belge için bir dedektör sonucu vaat edilmez

Bu tablodan üç sonuç çıkar. Bu araçların çoğu, kontrol edilecek herhangi bir dedektör iddiası yayımlamaz. Birkaçı, bir sayıya örneklem büyüklüğü ekler, bu da kategorinin geri kalanının başarabildiğinden fazladır. Ve hiçbirisi, şirket dışındaki herhangi birinin kendi başına çalıştırabileceği bir veri kümesi yayımlamaz. Yine de her markanın hak ettiği yerde hakkını vermek gerekir. Undetectable.ai, iddiasının arkasına bir geri ödeme koyar, bu, bir sıfattan ziyade somut bir taahhüttür. WriteHuman, tam katman başına istek ve kelime üst sınırlarını yayımlar, böylece alıcı ne aldığını bilir. Grammarly, kendi doğruluk oranını, onu ortaya koyduğu aynı sayfada nitelendirir, bu da çoğu dedektör satıcısının yaptığından fazladır. Ve QuillBot'un hiç bypass iddiasında bulunmamayı seçmesi, listedeki en savunulabilir tutumdur.

Satıcı Dışındaki Hiç Kimse Bu Sayıları Neden Kontrol Edemez

Bir humanizer satıcısının Turnitin geçme oranı iddia etmesi, kendi kontrol ettiği bir hesap üzerinden, seçtiği belgeler üzerinde, genellikle belirtmediği bir tarihte yapılmış çalışmaları, Turnitin'in yeni dil modelleri yayımlandıkça revize ettiği bir sınıflandırıcıya karşı tanımlaması demektir. Bu, StealthGPT'nin otuz örneklemli rakamı için de geçerlidir, bu sitenin yayımladığı 2,000 belgeli rakam için de aynı derecede geçerlidir. Korpus büyüklüğü, bir sayının içinde ne kadar gürültü bulunduğunu değiştirir. Bir öz bildirimi denetime dönüştürmez.

Sorunun diğer yarısı, Turnitin'in tespit ettiğini iddia ettiği modeller listesinin, yeni sürümler geldikçe düzenlenmesidir. Geçen çeyreğin sınıflandırıcısına karşı ölçülen o geçme oranı, yalnızca geçen çeyreğin sınıflandırıcısını tanımlar, başka hiçbir şeyi değil. Bunun neden kimsenin bir Turnitin'i aşmak için en iyi AI humanizer adlandıramayacağı anlamına geldiği ayrı olarak açıklanmıştır. Her humanizer ana sayfasındaki her rakam, bu siteninki de dahil, satıcının belki de hiç yayımlamadığı bir tarih taşıyan bir anlık görüntüdür.

Bir Bypass İddiasını Para Ödemeden Önce Nasıl Okumalı

Dört soru, dikkate değer bir iddiayı göz ardı edilmesi gereken bir iddiadan ayırır ve bunlar, yukarıdaki tablodaki son satır da dahil olmak üzere her satıra uygulanır.

• Kaç belgenin test edildiği ve bunları kimin seçtiği? Örneklem büyüklüğü olmayan bir yüzde, üzerinde sayı yazan bir slogan gibidir.
• Hangi tarihte ve hangi dedektör sürümüne karşı? Algılama modelleri, yeni dil modelleri yayımlandıkça güncellenir ve tarihsiz bir geçme oranı hızla eskir.
• Güvence bir geri ödeme mi yoksa bir sonuç mu? Para iade vaadi, küçük bir mali riski devreder ve akademik dürüstlük kuruluna ilişkin hiçbir şeyi çözmez.
• Satıcı, bir atıf, teknik terim ya da blok alıntı için ne olduğunu söylüyor? Çoğu humanizer sayfası hiçbir şey söylemez, bu da başlı başına bir yanıttır.

Bu son soru, akademik çalışma sunan herkes için dedektör aritmetiğinden daha fazlasını belirler. İyi puan alan ve bir yöntem cümlesini sessizce genelleştiren bir yeniden yazım, değerlendirildiğiniz şeyi sizden almış olur. TextPulse's academic humanizer, APA, MLA, IEEE, Chicago, Harvard ve Vancouver boyunca atıf korunmasını, bir geçiş çalıştırılmadan önce tam sözcük dağarcığını kilitlemek için terimlerin dondurulmasını ve çıktının Flesch-Kincaid 13 ile 18. sınıf düzeyinde tutulduğu, hakemli akademik metin üzerinde eğitimi belgelendirir. Bunlar, metne ne olduğuna ilişkin iddialardır, bu da bir dedektöre ilişkin bir yüzdeyle aynı türden bir iddia değildir ve bir okuyucu bunları çıktıda bir dakika içinde doğrulayabilir.

Skor, Bir Öğrenci İçin Her İki Durumda da Ne Anlama Gelir

Turnitin, AI yazım göstergesinin bir usulsüzlük tespiti olmadığını açık biçimde belirtir. Turnitin'in ürün sayfası, Turnitin Originality'nin "AI writing detection (or similarity checking) technology" aracılığıyla usulsüzlük hakkında bir belirleme yapmadığını açıkça ifade eder. Ayrıca, Turnitin'in öğretmenlerin kurumlarının politikalarına dayanarak bilinçli bir karar vermesini sağlamak üzere bilgi sunduğunu da açık kılar. Bu, modelin "her zaman doğru olmayabileceği, insan tarafından yazılmış, AI tarafından üretilmiş ve AI tarafından yeniden ifade edilmiş metni yanlış tanımlayabileceği, bu nedenle bir öğrenciye karşı olumsuz işlemler için tek temel olarak kullanılmaması gerektiği" uyarısıyla da yinelenir.

Öğrenciler puanı varsayılan olarak görmez. Turnitin açıkça belirtir ki AI writing detection göstergesi ve raporu öğrenciler tarafından görülemez, ve bunu görmenin tek yolu, bir öğretmenin raporu PDF olarak indirip öğrenciye vermesidir. Kendi taslağını kontrol eden bir öğrenci, farklı veriler üzerinde eğitilmiş farklı bir aracı kontrol etmektedir, ve bu iki sayının birbirine uymak gibi bir yükümlülüğü yoktur.

Bu da puanın çözemediği kısmı geride bırakır. AI desteğine hiç izin verilip verilmediği, dersin ve kurumun konusudur, ve bir AI use policy bunu bir yüzdeyle asla yapamayacağı bir biçimde yanıtlar. İzin verilen, açıkça beyan edilmiş kullanımda yüksek bir puan, arkasında kanıt bulunan bir konuşmadır. Politikanın yasakladığı, beyan edilmemiş kullanımda düşük bir puan ise yine de beyan edilmemiş kullanımdır.

Kendi taslağını düzenleyen bir yazar için, bütün bunların pratik okuması şudur, puan yazıyı izler. Turnitin'in modeli, bir belgenin tamamı boyunca cümle düzeyindeki örüntüyü ölçer, bu yüzden kısmi yeniden yazımlar kısmi hareket üretir ve kelime dağarcığı değişimleri neredeyse hiç hareket üretmez. AI text nasıl humanize edilir başlıklı tam açıklama, örüntüyü değiştiren yapısal düzenlemeleri, en çok hareket ettiren sırayla ele alır.

TextPulse'un AI humanizer aracı bu yapısal düzenlemeleri bir belgenin tamamına tek seferde uygular ve metnin kendisinden hesaplanan tahmini bir Human Score bildirir, hiçbir zaman herhangi bir adı verilmiş dedektörün ne söyleyeceğine dair bir tahmin bildirmez. Hiçbir araç bir Turnitin sonucunu garanti edemez, çünkü hiçbir araç Turnitin'in modelinin içine bakamaz. Aksini iddia eden herhangi bir ürün, gözlemleme yolu olmayan bir sonucu tarif etmektedir.

Bir humanizer ile bir paraphraser arasındaki ayrım burada önemlidir, ayrıca paraphrased text'in neden yine de işaretlendiği de önemlidir.

Sayı bunun en az ilginç kısmıdır. Sonucu belirleyen, bir değerlendirici ona baktıktan sonraki yirmi dakikadır: makalenin çözüm sürecini, bir taslak geçmişini, bir dizi notu, yazarın açmadan hakkında konuşabileceği kaynakları gösterip gösteremediği. Bu kanıt, işi yapan herkes için erişilebilirdir ve yeniden yazımın değiştirmeyi başaramadığı bir puandan sağ çıkar.