Turnitin Benzerlik Skoru ile AI Skoru: İki Farklı Rapor

Bir rapor üzerinde iki sayı yer alır, biri 3 yüzde benzerlik puanı, diğeri 88 yüzde yapay zekâ puanı. İlk bakışta bunların aynı şeyi ölçmesi gerektiği düşünülür, bu yüzden düşük sayı yüksek sayının da muhtemelen yanlış olduğu anlamına gelmelidir. Oysa durum böyle değildir. Turnitin benzerlik puanı ile yapay zekâ puanı, iki ayrı sistemi kullanan ve iki ayrı şeyi denetleyen bir karşılaştırmadır, bir gönderi birinde düşük, diğerinde yüksek puan alabilir ve bu sayıların hiçbiri hata olmak zorunda değildir.

Bu sistem yapay zekâ sisteminden daha eskidir, zaten var olan bir metinle eşleşmeyi yakalamak için geliştirilmiştir. Yapay zekâ sistemi ise daha yenidir, aynı Benzerlik Raporu içine kendi bağımsız ölçümü olarak eklenmiştir, herhangi bir şeyle eşleşip eşleşmediğine bakılmaksızın düzyazının makine tarafından üretilmiş gibi görünüp görünmediğini tahmin etmek için geliştirilmiştir. Turnitin'in kendi belgelerine göre bunlar tamamen bağımsızdır ve birbirlerini etkilemezler. Bu yazıdaki diğer her şey.

Turnitin Benzerlik ve AI Skoru: Her Bir Sayı Ne Raporlar

Turnitin, bu ikisini tek bir ürün içinde birleştirilmiş iki farklı ölçüm olarak ele alır, tek bir sonucun iki görünümü olarak değil. Benzerlik Raporu, bir gönderimi web içeriği, akademik yayınlar ve daha önce gönderilmiş öğrenci ödevlerinden oluşan bir veritabanıyla karşılaştırır ve gönderinin metninin bu veritabanında zaten bulunan bir şeyle eşleşen yüzdesini döndürür. AI yazım tespiti ise bütünüyle farklı bir model çalıştırır, aynı rapora kendi bağımsız skoru olarak eklenir, bir pasajın düzyazısının makine tarafından üretilmiş yazıya ne kadar benzediğini değerlendirmek üzere eğitilmiştir ve hiçbir dış veritabanına hiç referans vermez. Turnitin'in AI sınıflandırıcısının bu sayıya nasıl ulaştığının daha ayrıntılı işleyişi ayrı olarak ele alınmaktadır, burada önemli olan, aynı raporun içinde yer alan benzerlik motorundan farklı bir soruya yanıt vermesidir.

Benzerlik Skoru Gerçekte Neyi Ölçer

Benzerlik, bir eşleştirme alıştırmasıdır, bir yargı değil. Turnitin'in kendi kılavuzu, aracın intihali kontrol etmediğini açıkça belirtir. Araç yalnızca örtüşmeyi kontrol eder ve yorumu raporu okuyan öğretim elemanına bırakır. Doğru biçimde ayrılmış bir alıntı, bir alt alanın tamamında paylaşılan bir yöntem bölümü ifadesi, dergideki her makalenin kaynakça listesini biçimlendirdiği şekilde biçimlendirilmiş bir kaynakça listesi, bunların hepsi eşleşme olarak kaydedilebilir, çünkü sistem örtüşmenin meşru olup olmadığını değerlendirmek yerine örtüşen metin dizilerini sayar.

Bu aynı zamanda, sıfır bir benzerlik puanının göründüğünden daha az şey kanıtlamasının da nedenidir. Bu, gönderinin Turnitin'in dizine alınmış kaynaklarında başka bir yerde bulunan uzun, kesintisiz bir metin dizisi içermediği anlamına gelir. Orada bulunan cümlelerin nasıl üretildiği hakkında hiçbir şey söylemez, çünkü veritabanında hiçbir şeyle eşleşmeyen bir cümle üretmek, bir dil modelinin tahmin etmeyeceği bir cümle üretmekle aynı beceri değildir.

Yapay Zeka Puanı Gerçekte Neyi Ölçer

Yapay zeka puanının karşılaştırıldığı bir veritabanı yoktur. Bir sınıflandırıcı, gönderilen düzyazıyı okur ve insan tarafından yazılmış ve yapay zeka tarafından üretilmiş yazı örnekleri boyunca öğrendiği kalıplardan hareketle, bu düzyazının bir kişiden ziyade bir modelden gelmiş olma olasılığını tahmin eder. Bu tahminin hiçbir yönü, tam cümlenin daha önce herhangi bir yerde hiç görünüp görünmediğine bağlı değildir. Bir cümle bütünüyle özgün olabilir, bu gönderiye kadar hiç kimse tarafından yazılmamış olabilir ve yine de sözcük seçimleri ve ritmi bir dil modelinin üretme eğiliminde olduğu kalıbı izliyorsa istatistiksel olarak yapay zeka çıktısına tipik görünebilir.

Bu, yapay zeka dedektörlerinin gerçekte nasıl çalıştığının daha geniş açıklamasında bütünüyle ele alınan aynı istatistiksel alandır, sözcük düzeyinde öngörülebilirlik ve cümle düzeyinde ritim, tek bir belge puanında birleştirilmiştir. Turnitin'in bu sınıflandırıcıya ilişkin sürümü tescillidir, ancak temel öncül, üretilen metnin insan yazısından istatistiksel olarak daha tipik olma eğiliminde olduğu, bu kategorideki her aracın altında işleyen aynı öncüldür.

	Benzerlik Skoru	AI Skoru
Ne ölçer	Gönderinin metninin ne kadarının diğer dizinlenmiş belgelerle eşleştiği	Düzyazının istatistiksel olarak tipik AI tarafından üretilmiş yazıya ne kadar benzediği
Yüksek bir sayıyı ne tetikler	Uzun alıntılar, alana özgü yaygın ifade kalıpları, yeniden kullanılan materyal veya önceki bir gönderiyle eşleşme	Belge boyunca tekdüze cümle ritmi ve sürekli öngörülebilir sözcük seçimleri
Yüksek bir sayının neyi kanıtlamadığı	Eşleşen metnin uygunsuz biçimde kullanıldığını. Doğru biçimde atıf yapılmış materyal yine de eşleşme olarak kaydedilebilir.	Tek bir cümlenin AI tarafından üretildiğini. Sınıflandırıcı, belgenin genel örüntüsünü okur, tek bir satırı yalıtılmış halde değil.

Bir Makale 0 Yüzde Benzerlik ve 90 Yüzde AI Skoru Taşıyabilir mi?

Evet, ve bu birleşim bir hata değildir. İki skor farklı soruları yanıtlar, bu nedenle yüksek ve düşük olan dört kombinasyonun hepsi mümkündür ve her biri metnin nasıl üretildiği hakkında farklı bir şey ima eder.

• Düşük benzerlik, düşük AI skoru: tipik insan çeşitliliğiyle okunan sıradan özgün yazı. Çoğu gerçek öğrenci çalışması için yaygın durum.
• Düşük benzerlik, yüksek AI skoru: hiçbir yerden kopyalanmamış özgün cümleler, ancak üretilmiş metnin eğilim gösterdiği biçimde istatistiksel olarak öngörülebilir okunan cümleler. Var olan bir kaynaktan yeniden ifade edilmemiş, düzenlenmemiş AI yazısının imzası.
• Yüksek benzerlik, düşük AI skoru: istatistiksel düzlük olmaksızın, mevcut insan yazımı bir kaynağa yakından eşleşen metin, sınıflandırıcının üretimle ilişkilendirdiği türden bir düzlük olmadan. Kopyalanmış metin, daha yeni araç yerine daha eski araç tarafından yakalanmış.
• Yüksek benzerlik, yüksek AI skoru: kendisi AI tarafından üretilmiş mevcut bir kaynakla eşleşen metin, örneğin daha önce gönderilmiş AI tarafından yazılmış bir makale veya açık web'den zaten dizinlenmiş AI tarafından üretilmiş bir metin sayfası.

Bu kombinasyonların hiçbiri yazılım tarafında olağandışı bir şey gerektirmez. Bunlar, bir sistemin eşleşme araması, diğerinin ise bir örüntü araması olgusundan kaynaklanır, bir metin parçası bu özelliklerden birini, her ikisini ya da hiçbirini taşıyabilir.

Yüksek Bir AI Puanının Ne Kanıtladığı ve Ne Kanıtlamadığı

Yüksek bir AI puanı, metinden çıkarılmış bir itiraf değil, istatistiksel bir tahmindir. Bu, önündeki düzyazının, sözcük seçimleri ve ritmi bakımından, modelin AI üretimiyle ilişkilendirmeyi öğrenmiş olduğu yazı türüne benzediğini söyler. Belirli bir cümlenin kesin olarak makine tarafından yazıldığını saptamaz ve belgenin gerçekte nasıl üretildiği hakkında hiçbir şey bilmez, yalnızca tamamlandıktan sonra nasıl okunduğunu bilir. TextPulse kendi sayıları hakkında da aynı konumu alır, bildirdiği şey, önündeki metinden hesaplanan tahmini bir Human Score'dur, belgeye hangi aracın, eğer varsa, dokunduğuna ilişkin bir hüküm değildir.

İster düşük bir benzerlik puanı ister yüksek bir AI puanı olsun, her iki sayıya verilecek pratik yanıt aynıdır, bunu ilk bakışta kabul edilecek ya da reddedilecek bir bulgu olarak değil, daha yakından bakmak için bir neden olarak ele alın. Taslaklar, notlar ve sürüm geçmişi, bir belgenin gerçekte nasıl yazıldığını, hiçbir yüzde ifadenin yapamayacağı bir biçimde, her iki raporda da ortaya koyar. Bir sınıflandırıcının kendi taslaklarında gerçekte neye tepki verdiğini merak eden herkes, herhangi bir rapor oluşturulmadan çok önce, bir ücretsiz perplexity denetleyicisi ile aynı sözcük düzeyindeki örüntüyü kendisi görebilir.

TextPulse'un ücretsiz araçlar koleksiyonu, bir taslak bir eğitmene ulaşmadan önce kontrol edilmeye değer diğer istatistiksel katmanları, burada karşılaştırılan iki katmanla sınırlı kalmadan, kapsar.

İki sayı ayrıştırıldıktan sonra, bir sonraki soru iyi bir Turnitin puanı olarak neyin kabul edildiğidir. Öğrencilerin en sık karşılaştığı diğer dedektör için, GPTZero'nun nasıl çalıştığı kendi sayfasında ele alınmaktadır.

Bu iki sayı aynı raporda yan yana durmaya devam edecek ve acele eden kişiler tarafından tek bir sayı olarak okunmaya devam edecek. Her birinin aslında hangi soruyu yanıtladığını bilmek, kafa karıştırıcı bir yüzde çiftini iki ayrı, yararlı bilgi parçasına dönüştüren şeydir.