Które uniwersytety przestały używać detektora AI Turnitin

Lista uniwersytetów, które przestały korzystać z funkcji wykrywania AI w Turnitin, jest krótsza i lepiej udokumentowana, niż sugerują wyniki wyszukiwania. Trzy instytucje w USA, Vanderbilt University, Michigan State University oraz University of Texas at Austin, opublikowały własne strony potwierdzające, że wyłączyły tę funkcję, podając swoje powody własnymi słowami. Żadna z tych trzech instytucji nie zrezygnowała z samego Turnitin.

To ostatnie zdanie jest częścią, którą większość zestawień pomija. Turnitin oferuje dwa produkty w jednym interfejsie: narzędzie do sprawdzania podobieństwa, które porównuje prace studentów z bazą tekstów, usługę dostępną od dawna, jeszcze zanim wynaleziono generatywną AI, oraz wskaźnik pisania AI, klasyfikator, który ocenia prozę pracy pod kątem tego, jak bardzo przypomina wynik działania maszyny. Ta nowa funkcja została uruchomiona w kwietniu 2023. Tylko drugi produkt został wyłączony przez każdą z instytucji poniżej.

Poniżej przedstawiono uzasadnienie podane przez trzy uniwersytety własnymi słowami, dwa kolejne nazwy, które media powtarzają bez strony należącej do instytucji potwierdzającej te informacje, oraz to, co administrator rzeczywiście zmienia, podejmując taką decyzję.

Czy jakiś uniwersytet przestał całkowicie korzystać z Turnitin?

Nie istnieje potwierdzony przypadek takiej sytuacji. Każdy udokumentowany przykład dotyczy uniwersytetu wyłączającego jedno konkretne ustawienie w produkcie, z którego nadal korzysta. Własne wytyczne Turnitin wyjaśniają, dlaczego takie rozróżnienie jest w ogóle możliwe: administratorzy "have the option to enable/disable the AI writing feature from their admin settings page," a zrobienie tego "will remove the AI writing indicator and report from the Similarity report," pozostawiając sam raport podobieństwa w działaniu.

Similarity Score i AI Score to dwa odrębne, niezależne raporty, według własnych słów Turnitin, oparte na różnych modelach i wyświetlane na różnych kartach tego samego interfejsu. TextPulse omówiło jak Similarity Score i AI Score rzeczywiście się różnią bardziej szczegółowo w innym miejscu. Uniwersytet może wyłączyć drugi bez ingerencji w pierwszy, i każdy z poniższych przypadków dokładnie tak zrobił.

Vanderbilt University: Najbardziej szczegółowe publiczne wyjaśnienie

Vanderbilt wyłączył detektor AI Turnitin 16 sierpnia 2023 roku i opublikował swoje uzasadnienie tego samego dnia, zamiast pozostawiać dziennikarzom składanie go w całość. Własne obliczenia uniwersytetu stanowią najjaśniejszą wersję argumentu, jaki jakakolwiek instytucja upubliczniła: Turnitin twierdził, że wskaźnik fałszywie dodatnich wyników wynosi 1 procent, a w odniesieniu do około 75,000 prac przesłanych przez Vanderbilt do Turnitin w 2022 roku uniwersytet obliczył, że taki wskaźnik oznaczałby, iż "około 750 prac studenckich mogło zostać błędnie oznaczonych jako częściowo napisane przez AI."

Vanderbilt podał obok tych obliczeń jeszcze dwa powody: udokumentowaną stronniczość wobec osób piszących po angielsku jako w języku obcym oraz niewystarczającą przejrzystość tego, w jaki sposób model bazowy rzeczywiście dochodzi do swojego wyniku. Te trzy wątki, zbyt duża liczba fałszywie dodatnich wskazań, problem stronniczości i nieprzejrzysty model, powracają w jakiejś formie niemal w każdej instytucji, która od tamtej pory publicznie wyjaśniła decyzję o rezygnacji.

Instytucja	Działanie	Data	Podany powód, własnymi słowami instytucji
Vanderbilt University	Wyłączono wskaźnik pisania AI dla całego konta	August 16, 2023	Twierdzony wskaźnik fałszywie dodatnich wyników na poziomie 1% zastosowany do własnej liczby przesyłanych prac, stronniczość wobec osób piszących po angielsku jako w języku obcym, brak przejrzystości modelu
Michigan State University	Wykrywanie pisania AI nie zostało udostępnione instruktorom	Wytyczne z August 2023	Narzędzi do wykrywania AI nie należy używać jako jedynej podstawy do podjęcia niekorzystnych działań wobec studenta
University of Texas at Austin	Zakazuje używania oprogramowania do wykrywania AI w pracach studentów	Na własnej stronie UT Austin nie podano daty, do February 2024 figurował wśród instytucji, które zrezygnowały	Klasyfikuje oprogramowanie do wykrywania AI jako High Risk, wskazuje na obawy dotyczące praw autorskich, własności intelektualnej i FERPA

Michigan State i UT Austin, dwa kolejne potwierdzone przypadki rezygnacji

Własna dokumentacja pomocy Michigan State stwierdza wprost: "Turnitin AI Detection is not currently available at MSU." Jej wytyczne dodają zastrzeżenie, które ma zastosowanie niezależnie od tego, którego detektora używa kurs: narzędzi AI do wykrywania "should not be used as the sole basis for adverse actions against a student." Strona znajduje się w szerszych wytycznych MSU dotyczących generatywnej AI, datowanych na sierpień 2023, w tym samym miesiącu, w którym Vanderbilt upublicznił własną decyzję.

UT Austin przyjęło spośród tych trzech najbardziej daleko idące stanowisko. Biuro prorektora uczelni stwierdza wprost, że "does not endorse the use of AI Detection Software and does not have any central contracts or purchase orders with active AI Detection Software features." Strona idzie dalej niż zwykła rezygnacja z tej opcji: klasyfikuje oprogramowanie do wykrywania AI jako "High Risk", co oznacza, że wydział nie może go kupić nawet za pomocą karty zakupowej, i ostrzega, że przepuszczenie pracy studenta przez takie oprogramowanie "may be a violation of that student's copyright and intellectual property rights," obok odrębnych obaw związanych z FERPA. Własna strona UT Austin nie podaje konkretnej daty decyzji, jednak relacje w prasie edukacyjnej umieszczały już uczelnię na liście instytucji, które zrezygnowały z tej opcji, do lutego 2024.

Inne uczelnie, które przestały używać Turnitin, według prasy

Są jeszcze dwie inne, które często pojawiają się przy podsumowaniach relacji na ten temat: Northwestern University i Montclair State University. Obie istnieją, lecz żadna z nich nie jest przywoływana przez źródła o takim samym poziomie wiarygodności jak pozostałe trzy. W lutym 2024 Inside Higher Ed podało, że Montclair "announced in November [2023]... that academics should not use the AI-detector feature in a tool from Turnitin," po "similar moves from institutions including Vanderbilt University, the University of Texas at Austin and Northwestern University.".

To solidne źródło w prasie branżowej, ale jest to inny standard niż własna strona instytucji, która stwierdza decyzję własnymi słowami, a podczas przygotowywania tego tekstu nie udało się znaleźć takiej strony ani dla jednego, ani dla drugiego uniwersytetu. Warto nazwać tę lukę, zamiast ją wygładzać. Lista zbudowana ze wszystkich wzmianek prasowych byłaby dłuższa niż trzy nazwy, natomiast lista oparta na tym, co instytucja rzeczywiście opublikowała sama o sobie, obecnie kończy się na trzech, a to jest surowszy standard, którego ten tekst konsekwentnie się trzyma.

Dlaczego uniwersytety wyłączają detektor AI?

To samo kilka powodów powraca we wszystkich publicznych oświadczeniach powyżej: odsetek fałszywych pozytywów, który przestaje wydawać się mały, gdy pomnoży się go przez rzeczywistą populację studentów, udokumentowana stronniczość wobec osób piszących po angielsku nie jako w języku ojczystym oraz klasyfikator, którego wewnętrznego działania dostawca nie ujawnił w pełni. To rozumowanie zgadza się z szerszymi dowodami dotyczącymi tego, czy detektory AI są w ogóle dokładne, i to nie tylko w przypadku Turnitin. Żadna z trzech instytucji powyżej nie kwestionuje tego, że sprawdzarka podobieństwa Turnitin nadal wykonuje swoje pierwotne zadanie, sprzeciw dotyczy wyłącznie jednej dodanej funkcji.

Nic z tego nie oznacza, że uniwersytet, który pozostawia tę funkcję włączoną, działa niedbale, i nic z tego nie oznacza, że uniwersytet, który ją wyłączył, rozwiązał problem leżący u podstaw. Oznacza to, że dwie grupy administratorów spojrzały na te same opublikowane liczby i doszły do różnych ocen, a doświadczenie studenta z tą technologią zależy teraz częściowo od tego, do jakiego uniwersytetu uczęszcza, a nie od czegokolwiek związanego z pracą, którą złożył.

Autor zastanawiający się, czy jego własny szkic ma profil statystyczny, który opisuje zastrzeżenie Vanderbilt dotyczące stronniczości, może sprawdzić to bezpośrednio za pomocą darmowego sprawdzacza perplexity, zamiast czekać, by dowiedzieć się, jaką politykę wybrał jego własny uniwersytet.

Dowody stojące za tymi decyzjami zostały przedstawione osobno: czym faktycznie jest fałszywy pozytyw oraz odsetek fałszywych pozytywów publikowany przez samo Turnitin.

Darmowe narzędzia TextPulse obejmują ten sam obszar, zanim cokolwiek w ogóle trafi do detektora. Turnitin będzie nadal dostosowywać własne progi w miarę ponownego trenowania modelu, to, czy dana uczelnia aktualnie korzysta z tej funkcji, jest ustawieniem, a nie faktem dotyczącym samej pracy, i warto sprawdzić wersję roboczą na jej własnych warunkach, niezależnie od tego, w którą stronę to ustawienie akurat zostało w tym semestrze przełączone.