Mely egyetemek hagyták abba a Turnitin AI-detektorának használatát

A Turnitin AI-detekciós funkcióját már nem használó egyetemek listája rövidebb, és jobban dokumentált, mint amilyennek a keresési eredmények mutatják. Három amerikai intézmény, a Vanderbilt University, a Michigan State University és a University of Texas at Austin, mind közzétette saját oldalát, amely megerősíti, hogy kikapcsolták ezt a funkciót, és saját szavaikkal ismertették az okokat. Egyikük sem hagyta abba a Turnitin használatát.

Ez az utolsó mondat az a rész, amelyet a legtöbb összefoglaló kihagy. A Turnitin két terméket kínál egyetlen felületen, egy hasonlóságellenőrzőt, amely a hallgatói dolgozatokat egy szöveges adatbázissal hasonlítja össze, ez a szolgáltatás már jóval a generatív AI feltalálása előtt elérhető volt, valamint egy AI-írásjelzőt, egy osztályozót, amely azt pontozza, hogy egy dolgozat prózája mennyire hasonlít gépi kimenetre. Ez az új funkció 2023 áprilisában vált elérhetővé. Az alábbi intézmények mindegyike csak a második terméket kapcsolta ki.

Az alábbiakban három egyetem saját szavaival megadott indoklása következik, további két név, amelyeket a sajtó ismétel, de amelyekhez nem tartozik intézményi oldal a megerősítéshez, valamint az, hogy egy adminisztrátor valójában mit változtat meg, amikor ezt a döntést meghozza.

Abbahagyott bármely egyetem teljesen Turnitin használatát?

Erre nincs megerősített eset. Minden dokumentált példa arra vonatkozik, hogy egy egyetem egy adott beállítást kikapcsol egy olyan terméken belül, amelyet egyébként továbbra is használ. A Turnitin saját útmutatása megmagyarázza, miért lehetséges egyáltalán ez a különbségtétel: az adminisztrátoroknak "have the option to enable/disable the AI writing feature from their admin settings page," és ennek megtétele "will remove the AI writing indicator and report from the Similarity report," miközben maga a hasonlósági jelentés tovább működik.

A Similarity Score és az AI Score két különálló, egymástól független jelentés, a Turnitin saját szavaival, eltérő modellekre épülnek, és ugyanazon felület különböző fülein jelennek meg. A TextPulse korábban részletesebben tárgyalta hogyan különbözik valójában a hasonlósági pontszám és az AI pontszám. Egy egyetem a másodikat kikapcsolhatja az első érintése nélkül, és az alábbi esetek mindegyike pontosan ezt tette.

Vanderbilt University: A leg részletesebb nyilvános magyarázat

Vanderbilt 2023. augusztus 16-án letiltotta a Turnitin AI detektorát, és még ugyanazon a napon közzétette az indoklását, ahelyett hogy az újságírókra hagyta volna annak összerakását. Az egyetem saját számítása a legvilágosabb változata annak az érvelésnek, amelyet bármely intézmény nyilvánosságra hozott: a Turnitin azt állította, hogy a hamis pozitív arány 1 százalék, és a Vanderbilt által 2022-ben a Turnitinnek benyújtott nagyjából 75,000 dolgozat alapján az egyetem kiszámította, hogy ez az arány azt jelenti, hogy "körülbelül 750 hallgatói dolgozatot tévesen lehetett volna úgy címkézni, hogy azok egy részét AI írta."

A Vanderbilt ehhez a számításhoz két további okot is hozzátett: a nem anyanyelvi angolul írókkal szembeni dokumentált elfogultságot, valamint azt, hogy nem elég átlátható, miként jut el a mögöttes modell valójában a pontszámához. Ez a három szál, a túl nagy ahhoz, hogy el lehessen intézni egy kézlegyintéssel hamis pozitív szám, az elfogultság problémája és az átláthatatlan modell, azóta szinte minden olyan intézménynél valamilyen formában újra megjelenik, amely nyilvánosan indokolta a leiratkozást.

Intézmény	Intézkedés	Dátum	Az intézmény saját szavaival megadott indok
Vanderbilt University	Az AI írásjelzőt teljes fiókszinten letiltotta	2023. augusztus 16.	A saját benyújtási volumenére alkalmazott, állított 1% hamis pozitív arány, a nem anyanyelvi angolul írókkal szembeni elfogultság, a modell átláthatóságának hiánya
Michigan State University	Az AI írásfelismerés nem volt elérhető az oktatók számára	2023. augusztusi útmutatás	Az AI felismerő eszközöket nem szabad egy hallgatóval szembeni hátrányos intézkedés kizárólagos alapjaként használni
University of Texas at Austin	Tiltja az AI felismerő szoftver használatát a hallgatói munkákon	Az UT Austin saját oldalán nem szerepel dátum, 2024. februárig a leiratkozott intézmények között szerepelt	Az AI felismerő szoftvert High Risk kategóriába sorolja, szerzői jogi, szellemi tulajdoni és FERPA aggályokra hivatkozik

Michigan State és UT Austin, két további megerősített leiratkozás

Michigan State saját súgódokumentációja egyértelműen kimondja: "Turnitin AI Detection jelenleg nem érhető el az MSU-n." Az útmutatás ehhez egy olyan figyelmeztetést is hozzátesz, amely attól függetlenül érvényes, hogy egy kurzus melyik detektort használja: az AI-észlelő eszközöket "nem szabad a hallgatóval szembeni hátrányos intézkedések kizárólagos alapjaként használni." Az oldal az MSU tágabb generatív AI-útmutatásának része, amely 2023 augusztusából származik, ugyanabból a hónapból, amikor Vanderbilt nyilvánosságra hozta saját döntését.

UT Austin a három közül a legátfogóbb álláspontot foglalta el. Az egyetem Provost Hivatala egyenesen kijelenti, hogy "nem támogatja az AI Detection Software használatát, és nincs semmilyen központi szerződése vagy megrendelése aktív AI Detection Software funkciókkal." Az oldal túlmutat egy egyszerű elutasításon: az AI detection software-t "High Risk" kategóriába sorolja, ami azt jelenti, hogy egy tanszék még beszerzési kártyával sem vásárolhat ilyet, továbbá figyelmeztet arra, hogy egy hallgató munkájának ilyen szoftveren való lefuttatása "az adott hallgató szerzői jogainak és szellemi tulajdonhoz fűződő jogainak megsértését jelentheti", a külön FERPA aggályok mellett. UT Austin saját oldalán nem szerepel konkrét döntési dátum, az oktatási sajtó már 2024 februárjára az elutasító intézmények listáján tartotta az egyetemet.

További egyetemek, amelyek a sajtó szerint abbahagyták a Turnitin használatát

Kettő másik intézmény is gyakran felbukkan, amikor erről a történetről szóló beszámolókat összegzik: Northwestern University és Montclair State University. Mindkettő létezik, de egyiküket sem idézik ugyanolyan szintű hiteles források, mint a másik hármat. 2024 februárjában az Inside Higher Ed arról számolt be, hogy Montclair "2023 novemberében bejelentette... hogy az oktatóknak nem szabad használniuk a Turnitin egyik eszközének AI-detektor funkcióját", miután "hasonló lépéseket tettek olyan intézmények, mint Vanderbilt University, the University of Texas at Austin és Northwestern University".

Ez szilárd sajtóforrásokra támaszkodó anyag, de ez eltér attól a mércétől, amikor egy intézmény a saját oldalán a saját szavaival közöl egy döntést, és az anyag kutatása során egyik egyetem esetében sem bukkant fel ilyen oldal. Ezt a hiányt érdemes megnevezni, nem pedig elsimítani. Egy olyan lista, amely minden sajtóemlítésből épül fel, három névnél hosszabb lenne, míg egy olyan lista, amely kizárólag abból indul ki, amit egy intézmény ténylegesen saját maga közzétett, jelenleg háromnál megáll, és ez az a szigorúbb mérce, amelyhez ez az anyag végig tartja magát.

Miért kapcsolják ki az egyetemek az AI detektort?

Ugyanaz a néhány ok ismétlődik a fenti minden nyilvános közleményben: olyan hamis pozitív arány, amely már nem tűnik kicsinek, ha egy tényleges hallgatói populációval szorozzuk fel, dokumentált elfogultság a nem anyanyelvi angol írókkal szemben, valamint egy olyan osztályozó, amelynek belső működését a szolgáltató nem tárta fel teljes mértékben. Az érvelés összhangban van a azzal, hogy az AI detektorok egyáltalán pontosak-e kapcsolatos szélesebb körű bizonyítékokkal, nem csupán a Turnitin esetében. A fenti három intézmény egyike sem vitatja, hogy a Turnitin hasonlóságellenőrzője továbbra is ellátja eredeti feladatát, az ellenvetés egyetlen hozzáadott funkcióra vonatkozik.

Mindebből nem következik, hogy az a egyetem, amelyik bekapcsolva hagyja ezt a funkciót, gondatlanul jár el, és az sem, hogy az a egyetem, amelyik kikapcsolta, megoldotta az alapvető problémát. Ez azt jelenti, hogy két adminisztrátori csoport ugyanazokat a közzétett számokat nézte, és eltérő mérlegelési döntésre jutott, a hallgató tapasztalata pedig e technológiával kapcsolatban most részben attól függ, melyik egyetemre jár, nem pedig attól, hogy mi áll a benyújtott dolgozatában.

Az a szerző, aki azon tűnődik, hogy a saját vázlata hordozza-e a Vanderbilt által leírt elfogultsági kifogás statisztikai profilját, ezt közvetlenül ellenőrizheti egy ingyenes perplexity ellenőrzővel, ahelyett hogy megvárná, melyik szabályzatot választotta az ő egyeteme.

Az e döntések mögötti bizonyítékok külön vannak kifejtve: mi is valójában a hamis pozitív, valamint a hamis pozitív arány, amelyet maga a Turnitin tesz közzé.

TextPulse ingyenes eszközei ugyanezt a területet fedik le, mielőtt bármelyik szöveg egyáltalán eljutna egy detektorhoz. Turnitin továbbra is igazítani fogja a saját küszöbértékeit, miközben újratanítja a modellt, hogy egy adott egyetem éppen futtatja-e a funkciót, az beállítás kérdése, nem pedig magának a dolgozatnak a ténye, és érdemes egy vázlatot önmagában, a maga feltételei szerint ellenőrizni, függetlenül attól, hogy ebben a félévben éppen merre van átbillentve ez a beállítás.