Hangi Üniversiteler Turnitin'in AI Dedektörünü Kullanmayı Bıraktı

Turnitin'ın AI-detection özelliğini kullanmayı bırakan üniversitelerin listesi, arama sonuçlarının gösterdiğinden daha kısadır ve daha iyi belgelenmiştir. Üç ABD kurumu, Vanderbilt University, Michigan State University ve University of Texas at Austin, özelliği kapattıklarını doğrulayan kendi sayfalarını yayımlamış, gerekçelerini kendi ifadeleriyle belirtmiştir. Bu üç kurumun hiçbiri Turnitin'in kendisini bırakmamıştır.

Son cümle, çoğu derlemenin atladığı kısımdır. Turnitin tek bir arayüz içinde iki ürün sunar, öğrenci çalışmalarını bir metin veritabanıyla karşılaştıran bir benzerlik denetleyicisi, generative AI icat edilmeden çok önce beri kullanılabilen bir hizmet ve bir AI writing indicator, bir makalenin düzyazısının makine çıktısına ne kadar benzediğine göre puan veren bir sınıflandırıcı. Bu yeni özellik Nisan 2023'te kullanıma açıldı. Aşağıdaki kurumların her biri tarafından kapatılan yalnızca ikinci üründü.

Devamında, üç üniversitenin kendi ifadeleriyle sunduğu gerekçeler, basın haberlerinin bir kuruma ait sayfa olmaksızın tekrar ettiği iki ek ad ve bir yöneticinin bu kararı verdiğinde gerçekte neyi değiştirdiği yer alıyor.

Herhangi Bir Üniversite Turnitin'i Tamamen Kullanmayı Bıraktı mı?

Bunun doğrulanmış bir örneği yoktur. Belgelenmiş her örnek, bir üniversitenin başka türlü kullanmaya devam ettiği bir ürün içindeki belirli bir ayarı devre dışı bırakmasıdır. Turnitin'in kendi yönergeleri bu ayrımın neden mümkün olduğunu açıklar, yöneticiler "have the option to enable/disable the AI writing feature from their admin settings page," ve bunu yapmak "will remove the AI writing indicator and report from the Similarity report," böylece similarity report'un kendisi çalışmaya devam eder.

Similarity Score ve AI Score, Turnitin'in kendi ifadeleriyle, farklı modellere dayanan ve aynı arayüzün farklı sekmelerinde gösterilen iki ayrı, bağımsız rapordur. TextPulse, similarity score ile AI score'un gerçekte nasıl farklılaştığını başka bir yerde daha ayrıntılı biçimde ele almıştır. Bir üniversite birincisine dokunmadan ikincisini kapatabilir ve aşağıdaki her örnekte tam olarak bu yapılmıştır.

Vanderbilt University: En Ayrıntılı Kamu Açıklaması

Vanderbilt, Turnitin'in AI dedektörünü 16 Ağustos 2023 tarihinde devre dışı bıraktı ve gerekçesini gazetecilerin bunu bir araya getirmesini beklemek yerine aynı gün yayımladı. Üniversitenin kendi hesabı, herhangi bir kurumun kamuya açıkladığı argümanın en açık biçimidir: Turnitin yüzde 1 yanlış pozitif oranı iddia etmişti ve Vanderbilt'in 2022'de Turnitin'e gönderdiği yaklaşık 75,000 makaleye karşılık üniversite, bu oranın "yaklaşık 750 öğrenci makalesinin AI tarafından yazılmış bir kısmı varmış gibi yanlış etiketlenmiş olabileceği" anlamına geldiğini hesapladı.

Vanderbilt, bu hesaplamaya ek olarak iki gerekçe daha sundu: ana dili İngilizce olmayan yazarlara karşı belgelenmiş önyargı ve altta yatan modelin puanına gerçekte nasıl ulaştığına ilişkin yetersiz şeffaflık. Yanlış pozitif sayısının göz ardı edilemeyecek kadar yüksek olması, bir önyargı sorunu ve opak bir modelden oluşan bu üç unsur, o tarihten bu yana kamuya opt out kararını açıklayan hemen her kurumda bir biçimde yeniden ortaya çıkmaktadır.

Kurum	Eylem	Tarih	Kurumun kendi sözleriyle belirtilen gerekçe
Vanderbilt University	AI yazma göstergesini hesap genelinde devre dışı bıraktı	16 Ağustos 2023	Kendi gönderim hacmine uygulandığında iddia edilen yüzde 1 yanlış pozitif oranı; ana dili İngilizce olmayan yazarlara karşı önyargı; model şeffaflığının eksikliği
Michigan State University	AI yazma tespiti öğretim üyelerine sunulmadı	Ağustos 2023 tarihli yönerge	AI tespit araçları, bir öğrenciye karşı olumsuz işlem için tek dayanak olarak kullanılmamalıdır
University of Texas at Austin	Öğrenci çalışmalarında AI tespit yazılımının kullanımını yasaklar	UT Austin'in kendi sayfasında tarih belirtilmemiştir, Şubat 2024 itibarıyla opt out yapan kurumlar arasında listelenmiştir	AI tespit yazılımını Yüksek Riskli olarak sınıflandırır, telif hakkı, fikri mülkiyet ve FERPA kaygılarına atıfta bulunur

Michigan State ve UT Austin, Doğrulanmış İki Opt Out Daha

Michigan State'in kendi yardım belgeleri açıkça şunu belirtmektedir: "Turnitin AI Detection şu anda MSU'da mevcut değildir." Yönergeleri, bir dersin hangi dedektörü kullandığından bağımsız olarak geçerli olan bir uyarı da ekler: AI tespit araçları "bir öğrenciye karşı olumsuz işlemler için tek dayanak olarak kullanılmamalıdır." Sayfa, MSU'nun daha geniş üretken AI yönergeleri içinde yer alır, tarih August 2023'tür, Vanderbilt'in kendi kararını kamuya açıkladığı ay ile aynıdır.

UT Austin, üç kurum arasında daha kapsamlı bir tutum aldı. Üniversitenin Provost Ofisi açıkça, "AI Detection Software kullanımını onaylamadığını ve etkin AI Detection Software özelliklerine sahip herhangi bir merkezi sözleşmesi veya satın alma emri bulunmadığını" belirtmektedir. Sayfa, basit bir kullanım dışı bırakma beyanının ötesine geçer, AI detection software'i "High Risk" olarak sınıflandırır, bu da bir bölümün bunu bir procurement card ile bile satın alamayacağı anlamına gelir ve bir öğrencinin çalışmasını bu tür yazılımlardan geçirmek "o öğrencinin telif hakkı ve fikri mülkiyet haklarının ihlali olabilir" diye uyarır, ayrıca ayrı FERPA kaygılarını da belirtir. UT Austin'in kendi sayfası belirli bir karar tarihini belirtmez, eğitim basınına ait haberler üniversiteyi February 2024 itibarıyla zaten kullanım dışı bırakmış kurumlar listesine dahil etmişti.

Basına Göre Turnitin Kullanmayı Durduran Diğer Üniversiteler

Bu haberin kapsamını toparlarken sıkça karşılaşılan iki kurum daha vardır: Northwestern University ve Montclair State University. Her ikisi de vardır, ancak ikisi de diğer üçüyle aynı düzeyde güvenilir kaynaklar tarafından anılmamaktadır. February 2024'te Inside Higher Ed, Montclair'in "November [2023]'te... akademisyenlerin Turnitin'den bir araç içindeki AI-detector özelliğini kullanmaması gerektiğini duyurduğunu" bildirdi, bu da "Vanderbilt University, the University of Texas at Austin ve Northwestern University dahil kurumların benzer adımlarını" izliyordu.

Bu, sağlam bir basın kaynaklandırmasıdır, ancak bir kurumun kendi kararını kendi sözleriyle açıkladığı sayfadan farklı bir ölçüttür ve bu yazı için araştırma yapılırken iki üniversitenin hiçbirinde böyle bir sayfa bulunmamıştır. Bu boşluğu yumuşatmak yerine adlandırmak gerekir. Her basın haberinden oluşturulan bir liste üç isimden daha uzun olurdu, bir kurumun kendisi için gerçekten yayımladığı şeylerden oluşturulan bir liste ise şu anda üçte durmaktadır, ve bu yazı boyunca bağlı kalınan daha sıkı ölçüt de budur.

Üniversiteler Neden AI Dedektörünü Kapatıyor?

Yukarıdaki her kamu açıklamasında aynı birkaç gerekçe tekrar eder, gerçek bir öğrenci nüfusuyla çarpıldığında artık küçük görünmeyen bir yanlış pozitif oranı, ana dili İngilizce olmayan yazarlara karşı belgelenmiş yanlılık ve satıcının iç işleyişini tam olarak açıklamadığı bir sınıflandırıcı. Bu gerekçelendirme, yalnızca Turnitin'de değil, AI dedektörlerinin gerçekten doğru olup olmadığına ilişkin daha geniş kanıtlarla uyum içindedir. Yukarıdaki üç kurumun hiçbiri Turnitin'in benzerlik denetleyicisinin hâlâ asıl işini yaptığını inkâr etmiyor, itiraz tek bir ek özelliğe yöneliktir.

Bunların hiçbiri, özelliği açık tutan bir üniversitenin dikkatsiz davrandığı anlamına gelmez, ve bunların hiçbiri, özelliği kapatan bir üniversitenin temel sorunu çözdüğü anlamına da gelmez. Bu, iki yönetici grubunun aynı yayımlanmış sayılara bakıp farklı yargılara vardığı anlamına gelir, ve bir öğrencinin bu teknolojiyle yaşadığı deneyim artık kısmen hangi üniversiteye gittiklerine bağlıdır, teslim ettikleri makaleyle ilgili herhangi bir şeye değil.

Kendi taslağının Vanderbilt'in yanlılık itirazının tanımladığı istatistiksel profili taşıyıp taşımadığını merak eden bir yazar, kendi üniversitesinin hangi politikayı seçmiş olduğunu öğrenmeyi beklemek yerine bunu doğrudan bir ücretsiz perplexity checker ile kontrol edebilir.

Bu kararların arkasındaki kanıtlar ayrı olarak açıklanmıştır: yanlış pozitifin gerçekte ne olduğu ve Turnitin'in bizzat yayımladığı yanlış pozitif oranı.

TextPulse'ın ücretsiz araçları herhangi bir şey bir dedektöre ulaşmadan önce aynı alanı kapsar. Turnitin, modeli yeniden eğitirken kendi eşiklerini ayarlamaya devam edecektir; belirli bir üniversitenin şu anda özelliği çalıştırıp çalıştırmadığı bir ayardır, makalenin kendisi hakkında bir olgu değildir ve bu ayarın bu dönem hangi yöne çevrilmiş olduğundan bağımsız olarak bir taslağı kendi koşulları içinde kontrol etmek değerlidir.