Turnitin Benzerlik Skoru ve AI Skoru: İki Farklı Rapor

Bir raporun üzerinde iki sayı yer alır, biri yüzde 3 benzerlik puanı, diğeri yüzde 88 AI puanı. İlk bakışta bunların aynı şeyi ölçmesi gerektiği düşünülür, bu yüzden düşük sayı yüksek sayının da muhtemelen yanlış olduğu anlamına gelmelidir. Ancak durum böyle işlemez. Turnitin benzerlik puanı ile AI puanı, iki ayrı sistemi karşılaştırır, bu sistemler iki ayrı şeyi denetler ve bir gönderi birinde düşük, diğerinde yüksek puan alabilir, üstelik bu sayıların hiçbiri hata olmak zorunda değildir.

Bu sistem, AI sisteminden daha eskidir, zaten var olan bir metinle eşleşen metni yakalamak için geliştirilmiştir. Daha yenidir, aynı Similarity Report içine kendi bağımsız ölçümü olarak eklenmiştir, herhangi bir şeyle eşleşip eşleşmediğine bakmaksızın düzyazının makine tarafından üretilmiş gibi görünüp görünmediğini tahmin etmek için tasarlanmıştır. Turnitin'in kendi belgelerine göre, bunlar tamamen bağımsızdır ve birbirlerini etkilemez. Bu bölümdeki diğer her şey.

Turnitin Benzerlik Puanı ile AI Puanı: Her Bir Sayı Ne Raporlar

Turnitin, bu ikisini tek bir sonucun iki görünümü olarak değil, tek bir ürüne birlikte eklenmiş farklı ölçümler olarak ele alır. Similarity Report, bir gönderiyi web içeriği, akademik yayınlar ve daha önce gönderilmiş öğrenci ödevlerinden oluşan bir veritabanıyla karşılaştırır ve gönderinin metninin, bu veritabanında zaten bulunan bir şeyle eşleşen yüzdesini döndürür. AI yazım tespiti ise bütünüyle farklı bir model çalıştırır, aynı rapora kendi bağımsız puanı olarak eklenmiştir, bu model bir pasajın düzyazısının makine tarafından üretilmiş yazıya ne kadar benzediğini değerlendirmek üzere eğitilmiştir ve hiçbir dış veritabanına başvurmaz. Turnitin'in AI sınıflandırıcısının bu sayıya nasıl ulaştığının daha ayrıntılı işleyişi ayrı olarak ele alınır, burada önemli olan, aynı raporun içinde yer alan benzerlik motorundan farklı bir soruya yanıt vermesidir.

Benzerlik Puanı Gerçekte Neyi Ölçer

Benzerlik, bir eşleştirme işlemidir, bir yargı değildir. Turnitin'in kendi kılavuzu, aracın intihali kontrol etmediğini açıkça belirtir. Araç, örtüşmeyi kontrol eder ve yorumu raporu okuyan öğretim elemanına bırakır. Doğru biçimde ayrılmış bir alıntı, bir alt alandaki tüm çalışmalar arasında paylaşılan bir yöntem bölümü ifadesi, dergideki her makalenin kaynakça listesini biçimlendirdiği şekilde biçimlendirilmiş bir kaynakça listesi, bunların hepsi eşleşme olarak kayda geçebilir, çünkü sistem örtüşen metin dizilerini, örtüşmenin meşru olup olmadığını yargılamak yerine sayar.

Benzerlik puanının sıfır olması da bu yüzden göründüğünden daha az şey kanıtlar. Bu, gönderimin Turnitin'in dizinlenmiş kaynaklarında başka yerde bulunan uzun, kesintisiz bir metin parçası içermediği anlamına gelir. Orada bulunan cümlelerin nasıl üretildiği konusunda hiçbir şey söylemez, çünkü veritabanında hiçbir şeyle eşleşmeyen bir cümle üretmek, bir dil modelinin tahmin etmeyeceği bir cümle üretmekle aynı beceri değildir.

AI Puanı Gerçekte Neyi Ölçer

AI puanının karşılaştırdığı bir veritabanı yoktur. Bir sınıflandırıcı, gönderilen düzyazıyı okur ve insan ve AI tarafından üretilmiş yazı örnekleri boyunca öğrendiği örüntülere dayanarak, bu düzyazının bir kişiden ziyade bir modelden gelmiş olma olasılığını tahmin eder. Bu tahminin hiçbir yönü, tam cümlenin daha önce herhangi bir yerde hiç görünüp görünmediğine bağlı değildir. Bir cümle bütünüyle özgün olabilir, bu gönderime kadar kimse tarafından hiç yazılmamış olabilir ve yine de sözcük seçimleri ve ritmi bir dil modelinin üretme eğiliminde olduğu örüntüyü izliyorsa, istatistiksel olarak AI çıktısına tipik görünebilir.

Bu, AI dedektörlerinin gerçekte nasıl çalıştığına ilişkin daha geniş açıklamada tam olarak ele alınan aynı istatistiksel alandır, sözcük düzeyinde tahmin edilebilirlik ve cümle düzeyinde ritim, tek bir belge puanında birleştirilmiştir. Turnitin'in bu sınıflandırıcı sürümü tescillidir, ancak temel öncül, üretilen metnin insan yazısından daha istatistiksel olarak tipik olma eğiliminde olduğu yönündeki öncül, bu kategorideki her aracın altında işleyen aynı öncüldür.

	Benzerlik Skoru	AI Skoru
Ne ölçer	Gönderinin metninin ne kadarının diğer dizine eklenmiş belgelerle eşleştiği	Düzyazının istatistiksel olarak tipik AI tarafından üretilmiş yazıya ne kadar benzediği
Yüksek sayıyı ne tetikler	Uzun alıntılar, alana özgü yaygın ifade kalıpları, yeniden kullanılan materyal veya önceki bir gönderiyle eşleşme	Belge boyunca tekdüze cümle ritmi ve sürekli olarak öngörülebilir sözcük seçimleri
Yüksek bir sayının neyi kanıtlamadığı	Eşleşen metnin uygunsuz biçimde kullanıldığını. Doğru biçimde atıf yapılmış materyal yine de eşleşme olarak görünebilir.	Tek bir cümlenin AI tarafından üretildiğini. Sınıflandırıcı, belgenin genel örüntüsünü okur, tek bir satırı yalıtılmış biçimde değil.

Bir Makale 0 Yüzde Benzerliğe ve 90 Yüzde AI Skoruna Sahip Olabilir mi?

Evet, ve bu birleşim bir arıza değildir. İki skor farklı soruları yanıtlar, bu nedenle yüksek ve düşük olan dört birleşimin tamamı mümkündür ve her biri metnin nasıl üretildiği hakkında farklı bir şey ima eder.

• Düşük benzerlik, düşük AI skoru: tipik insan çeşitliliğiyle de okunan sıradan özgün yazı. Çoğu gerçek öğrenci çalışması için yaygın durum.
• Düşük benzerlik, yüksek AI skoru: hiçbir yerden kopyalanmamış özgün cümleler, ancak üretilmiş metnin eğilim gösterdiği biçimde istatistiksel olarak öngörülebilir okunan cümleler. Mevcut bir kaynaktan kimsenin yeniden ifade etmediği, düzenlenmemiş AI yazısının imzası.
• Yüksek benzerlik, düşük AI skoru: bir mevcut insan yazımı kaynağıyla yakından eşleşen, ancak bir sınıflandırıcının üretimle ilişkilendirdiği istatistiksel düzlük olmadan yazı. Kopyalanmış metin, yeni araç yerine eski araç tarafından yakalanmış.
• Yüksek benzerlik, yüksek AI skoru: kendisi AI tarafından üretilmiş bir mevcut kaynakla eşleşen metin, örneğin daha önce gönderilmiş AI yazımı bir makale ya da açık web'den zaten dizine eklenmiş AI tarafından üretilmiş bir metin sayfası.

Bu kombinasyonların hiçbiri yazılım tarafında olağandışı bir şey gerektirmez. Bunlar, bir sistemin eşleşme araması, diğerinin ise bir örüntü araması olgusundan doğar, bir metin parçası bu özelliklerden birini, her ikisini ya da hiçbirini taşıyabilir.

Yüksek Bir AI Puanı Ne Kanıtlar, Ne de Kanıtlamaz

Yüksek bir AI puanı, metinden çıkarılmış bir itiraf değil, istatistiksel bir tahmindir. Bu, sınıflandırıcının önündeki düzyazının, sözcük seçimleri ve ritmi bakımından, modelin AI üretimiyle ilişkilendirmeyi öğrenmiş olduğu yazı türüne benzediğini söyler. Belirli bir cümlenin kesin olarak makine tarafından yazıldığını saptamaz ve belgenin gerçekte nasıl üretildiği hakkında hiçbir şey bilmez, yalnızca tamamlandıktan sonra nasıl okunduğunu bilir. TextPulse kendi sayıları hakkında da aynı konumu benimser: bildirdiği şey, önündeki metinden hesaplanan tahmini bir Human Score'dur, belgeye hangi aracın, varsa hangisinin, müdahale ettiğine dair bir hüküm değildir.

İster düşük bir benzerlik puanı ister yüksek bir AI puanı olsun, her iki sayıya verilecek pratik yanıt aynıdır: bunu, ilk bakışta kabul edilecek ya da reddedilecek bir bulgu olarak değil, daha yakından bakmak için bir neden olarak değerlendirin. Taslaklar, notlar ve sürüm geçmişi, bir belgenin gerçekte nasıl yazıldığını, hiçbir yüzde ifadenin yapamayacağı bir biçimde ortaya koyar, her iki raporda da. Bir sınıflandırıcının kendi taslaklarında gerçekte neye tepki verdiğini merak eden herkes, herhangi bir rapor oluşturulmadan çok önce, bir ücretsiz perplexity denetleyicisi ile aynı sözcük düzeyindeki örüntüyü kendisi görebilir.

TextPulse'ın ücretsiz araçlar koleksiyonu, bir taslak bir eğitmene ulaşmadan önce kontrol edilmeye değer diğer istatistiksel katmanları kapsar, burada karşılaştırılan iki katmanla sınırlı değildir.

İki sayı birbirinden ayrıldıktan sonra, sonraki soru iyi bir Turnitin puanı olarak neyin kabul edildiğidir. Öğrencilerin en sık karşılaştığı diğer dedektör için, GPTZero'nun nasıl çalıştığı kendi sayfasında ele alınmaktadır.

Bu iki sayı aynı raporda yan yana durmaya devam edecek ve acele eden kişiler tarafından tek bir sayı olarak okunmaya devam edecek. Her birinin aslında hangi soruyu yanıtladığını bilmek, kafa karıştırıcı bir yüzde çiftini iki ayrı, yararlı bilgi parçasına dönüştüren şeydir.