Které univerzity přestaly používat detektor AI od Turnitin

Seznam univerzit, které přestaly používat funkci detekce AI v Turnitin, je kratší a lépe doložený, než jak to naznačují výsledky vyhledávání. Tři instituce v USA, Vanderbilt University, Michigan State University a University of Texas at Austin, zveřejnily vlastní stránku potvrzující, že tuto funkci vypnuly, a uvedly své důvody vlastními slovy. Žádná z těchto tří institucí nezrušila používání Turnitin jako takového.

Právě tato poslední věta je část, kterou většina souhrnů vynechává. Turnitin nabízí dva produkty v jednom rozhraní, kontrolu podobnosti, která porovnává studentské práce s textovou databází, službu dostupnou už dávno předtím, než byl vynalezen generativní AI, a indikátor AI psaní, klasifikátor, který hodnotí prózu práce podle toho, nakolik připomíná výstup stroje. Tato nová funkce byla spuštěna v dubnu 2023. Pouze druhý produkt byl u všech níže uvedených institucí vypnut.

Následuje odůvodnění, které tři univerzity uvedly vlastními slovy, dvě další jména, která se v mediálním pokrytí opakují, aniž by existovala stránka vlastněná danou institucí, jež by je potvrzovala, a také to, co administrátor ve skutečnosti mění, když toto rozhodnutí učiní.

Přestala nějaká univerzita používat Turnitin úplně?

Neexistuje žádný potvrzený případ. Každý doložený příklad je univerzita, která vypnula jedno konkrétní nastavení uvnitř produktu, který jinak nadále používá. Vlastní pokyny Turnitin vysvětlují, proč je tento rozdíl vůbec možný: administrátoři "have the option to enable/disable the AI writing feature from their admin settings page," a tím "will remove the AI writing indicator and report from the Similarity report," zatímco samotná kontrola podobnosti zůstává v provozu.

Similarity Score a AI Score jsou podle vlastních slov Turnitin dva samostatné, nezávislé reporty, založené na různých modelech a zobrazené na různých kartách téhož rozhraní. TextPulse se podrobněji věnoval tomu, jak se similarity score a AI score ve skutečnosti liší jinde. Univerzita může vypnout druhý bez zásahu do prvního a každý z níže uvedených případů přesně to udělal.

Vanderbilt University: Nejpodrobnější veřejné vysvětlení

Vanderbilt vypnula detektor AI od Turnitin dne 16. srpna 2023 a své zdůvodnění zveřejnila téhož dne, místo aby nechala novináře, aby si je skládali dohromady. Vlastní výpočet univerzity je nejjasnější verzí argumentu, který kdy jakákoli instituce zveřejnila: Turnitin tvrdil 1% míru falešně pozitivních výsledků a při zhruba 75,000 pracích, které Vanderbilt v roce 2022 odeslala do Turnitin, univerzita spočítala, že tato míra znamenala, že „asi 750 studentských prací mohlo být nesprávně označeno jako práce, v nichž byla část textu napsána pomocí AI“.

Vanderbilt uvedla vedle tohoto výpočtu ještě dva další důvody: doloženou zaujatost vůči autorům, pro něž angličtina není rodným jazykem, a nedostatečnou transparentnost toho, jak se základní model ve skutečnosti dopracovává ke svému skóre. Tyto tři linie, příliš vysoký počet falešně pozitivních výsledků, problém zaujatosti a neprůhledný model, se v nějaké podobě znovu objevují téměř u každé instituce, která od té doby veřejně vysvětlila své rozhodnutí neúčastnit se.

Instituce	Krok	Datum	Uvedený důvod, slovy instituce
Vanderbilt University	Vypnula indikátor psaní pomocí AI pro celý účet	16. srpna 2023	Uváděná 1% míra falešně pozitivních výsledků vztahovaná k jejímu vlastnímu objemu odevzdaných prací, zaujatost vůči autorům, pro něž angličtina není rodným jazykem, nedostatek transparentnosti modelu
Michigan State University	Detekce psaní pomocí AI nebyla zpřístupněna vyučujícím	Pokyny datované srpnem 2023	Nástroje pro detekci AI by neměly být používány jako jediný základ pro nepříznivé opatření vůči studentovi
University of Texas at Austin	Zakazuje používání softwaru pro detekci AI na studentských pracích	Na vlastní stránce UT Austin není uvedeno žádné datum, do února 2024 byla uvedena mezi institucemi, které se rozhodly neúčastnit	Klasifikuje software pro detekci AI jako High Risk, uvádí obavy týkající se copyright, intellectual property a FERPA

Michigan State a UT Austin, dva další potvrzené případy neúčasti

Vlastní dokumentace nápovědy Michigan State výslovně uvádí: "Turnitin AI Detection není v současnosti na MSU k dispozici." Její pokyny navíc obsahují upozornění, které platí bez ohledu na to, jaký detektor kurz používá: nástroje pro detekci AI "by neměly být používány jako jediný základ pro nepříznivá opatření vůči studentovi." Stránka je součástí širších pokynů MSU k generativní AI, datovaných do srpna 2023, tedy do stejného měsíce, kdy Vanderbilt zveřejnil své vlastní rozhodnutí.

UT Austin zaujala ze tří institucí nejširší stanovisko. Kancelář prorektora univerzity výslovně uvádí, že "nepodporuje používání softwaru pro detekci AI a nemá žádné centrální smlouvy ani objednávky s aktivními funkcemi softwaru pro detekci AI." Stránka jde dál než pouhé odmítnutí používání, klasifikuje software pro detekci AI jako "High Risk", což znamená, že si jej oddělení nemůže koupit ani pomocí nákupní karty, a upozorňuje, že vložení studentské práce do takového softwaru "může být porušením autorských práv a práv k duševnímu vlastnictví tohoto studenta", vedle samostatných obav podle FERPA. Vlastní stránka UT Austin neuvádí žádné konkrétní datum rozhodnutí, v pokrytí v odborném tisku o vzdělávání však byla univerzita již do února 2024 zařazena mezi instituce, které tuto možnost odmítly.

Další univerzity, které přestaly používat Turnitin, podle tisku

Jsou tu ještě dvě další instituce, které se často objevují při shrnování pokrytí tohoto příběhu: Northwestern University a Montclair State University. Obě existují, ale ani jedna není citována stejně důvěryhodnými zdroji jako další tři. V únoru 2024 Inside Higher Ed uvedl, že Montclair "oznámila v listopadu [2023]... že akademici by neměli používat funkci detekce AI v nástroji od Turnitin," po "podobných krocích institucí včetně Vanderbilt University, University of Texas at Austin a Northwestern University.".

To je solidní zdrojování z odborného tisku, ale je to jiný standard než vlastní stránka instituce, která uvádí rozhodnutí vlastními slovy, a při rešerši pro tento text se pro žádnou z obou univerzit žádná taková stránka neobjevila. Tuto mezeru je vhodné pojmenovat, nikoli ji zahlazovat. Seznam sestavený ze všech zmínek v tisku by byl delší než tři názvy, seznam sestavený z toho, co instituce skutečně sama zveřejnila, se v současnosti zastavuje na třech, a to je přísnější standard, kterého se tento text po celou dobu drží.

Proč univerzity vypínají detektor AI?

Týchž několik důvodů se opakuje ve všech veřejných prohlášeních výše, jde o míru falešně pozitivních výsledků, která přestává působit nízká, jakmile se vynásobí skutečnou studentskou populací, doloženou zaujatost vůči autorům, pro něž angličtina není rodným jazykem, a klasifikátor, jehož vnitřní fungování dodavatel plně nezveřejnil. Toto zdůvodnění odpovídá širším důkazům o tom, zda jsou AI detektory vůbec přesné, a nejen u Turnitin. Žádná z výše uvedených tří institucí nezpochybňuje, že Turnitinův kontrolor podobnosti stále plní svou původní funkci, námitka se týká výhradně jedné přidané funkce.

Nic z toho neznamená, že univerzita, která tuto funkci ponechává zapnutou, jedná nedbale, a nic z toho neznamená, že univerzita, která ji vypnula, vyřešila základní problém. Znamená to, že dvě skupiny administrátorů se podívaly na stejná zveřejněná čísla a dospěly k odlišným hodnotícím závěrům, a zkušenost studenta s touto technologií nyní částečně závisí na tom, na jakou univerzitu chodí, nikoli na čemkoli, co se týká práce, kterou odevzdal.

Autor, který se ptá, zda jeho vlastní návrh nese statistický profil, který popisuje Vanderbiltova námitka ohledně zaujatosti, si to může přímo ověřit pomocí free perplexity checker místo toho, aby čekal, jakou politiku si jeho vlastní univerzita zrovna zvolila.

Důkazy, které tato rozhodnutí podporují, jsou uvedeny samostatně: co falešně pozitivní výsledek ve skutečnosti je a míra falešně pozitivních výsledků, kterou Turnitin sám zveřejňuje.

bezplatné nástroje TextPulse pokrývají stejnou oblast ještě předtím, než se cokoli dostane k detektoru. Turnitin bude nadále upravovat své vlastní prahy, jak bude model znovu trénovat, zda daná univerzita tuto funkci právě používá, je nastavení, nikoli skutečnost o samotném textu, a stojí za to zkontrolovat návrh podle jeho vlastních kritérií bez ohledu na to, jak je toto nastavení v tomto semestru právě přepnuto.