Co się dzieje, jeśli recenzent wykryje sfabrykowany cytat

Redaktor sprawdzający listę referencji w zaakceptowanym manuskrypcie wkleja DOI dwudziestej trzeciej cytowanej pozycji do przeglądarki i otrzymuje stronę z komunikatem, że identyfikator nie istnieje. Odwołanie wygląda wiarygodnie: prawdopodobny tytuł czasopisma, prawdopodobny rok, trzy prawdopodobne nazwiska autorów. Nie jest jednak powiązane z niczym, co kiedykolwiek zostało zaindeksowane w jakiejkolwiek bazie danych. Do druku pozostają dwa tygodnie.

DOI, który nie daje się rozwiązać, jest zwykle pierwszym sygnałem tego, co redaktor ostatecznie zaklasyfikuje jako sfabrykowane cytowania, akademickie wykroczenie, a nie drobną usterkę formatowania do cichego poprawienia w korekcie. Odwołanie do źródła, które nie istnieje, znajduje się na skali powagi używanej rzeczywiście przez czasopisma obok sfabrykowanych danych i sfałszowanych wyników, znacznie powyżej błędnego numeru strony czy brakującej inicjału, a recenzenci sprawdzają to teraz dokładnie, zanim manuskrypt w ogóle dotrze do tego etapu.

Ten tekst prowadzi tą drogą z perspektywy recenzenta: jak sfabrykowane odwołanie trafia do manuskryptu już na samym początku, co robi redaktor, gdy DOI nie daje się rozwiązać, jaki proces określa Committee on Publication Ethics i co rzeczywiście dzieje się z artykułem później. Przewodnik TextPulse po tym, jak uniwersytety i czasopisma ustalają politykę AI omawia zasady ujawniania, które mają temu zapobiec przed złożeniem tekstu. Ten tekst zaczyna się tam, gdzie te zasady już zawiodły.

Jak sfabrykowane cytowania trafiają do manuskryptu?

Prawie nigdy nie dzieje się to przez celowe wymyślenie od podstaw. Autor przygotowujący przegląd literatury z użyciem narzędzia AI prosi je o streszczenie badań nad danym tematem, a narzędzie zwraca akapit z dołączonymi cytowaniami, ponieważ odwołanie brzmiące wiarygodnie jest częścią tego, jak dla modelu przewidującego następne prawdopodobne słowo wygląda wzorzec pisania akademickiego. Odwołanie ma kształt prawdziwego: nazwisko wskazanego autora, rzeczywisty tytuł czasopisma, rok mieszczący się w rozsądnym zakresie. Po prostu nie prowadzi do niczego, co kiedykolwiek zostało opublikowane.

Autor wkleja akapit, ufa cytowaniu, ponieważ otaczający tekst brzmi kompetentnie, i nigdy nie otwiera źródła, aby sprawdzić, czy istnieje. Presja czasu wyjaśnia większość tego, co dzieje się potem: lista bibliograficzna jest zwykle ostatnią rzeczą sprawdzaną przed złożeniem pracy, a nie pierwszą, a sfabrykowany wpis stojący wśród dziewięćdziesięciu prawdziwych łatwo przeoczyć podczas lektury nastawionej na argument i strukturę, a nie na każdy przypis. Przepuszczenie gotowej listy bibliograficznej przez AI citation checker przed złożeniem pracy wychwytuje sporą część takich przypadków, zanim recenzent w ogóle musi wkleić DOI do przeglądarki.

To, jak i dlaczego model w pierwszej kolejności wymyśla źródło wyglądające na wiarygodne, jest osobnym pytaniem, z własną mechaniką. Wyjaśnienie TextPulse dotyczące tego, czy ChatGPT zmyśla odniesienia, omawia tę część bardziej szczegółowo, niż potrzebuje tego ten tekst.

Czy sfabrykowane cytowania są naruszeniem zasad akademickich?

Tak, a czasopisma nie traktują tego jako kwestii stylu. Nadużycia badawcze zwyczajowo dzieli się na fabrykację, fałszowanie i plagiat, a odwołanie do źródła, które nie istnieje, należy do pierwszej z tych kategorii: samo cytowanie jest wymyślone, a jego obecność fałszywie przedstawia, jakie dowody rzeczywiście wspierają argument znajdujący się nad nim w tekście. To umieszcza sfabrykowane cytowanie w tej samej kategorii co wymyślone dane, a nie obok brakującego przecinka czy niespójnego stylu nagłówka.

Własna polityka Elsevier stwierdza to jasno dla każdego, kto pisze z pomocą AI: narzędzia generatywne mogą pomagać w strukturze i języku, ale fabrykowanie lub zmienianie danych albo odniesień jest wymienione jako użycie zabronione, bez wydzielania łagodniejszej kategorii dla odniesienia, które okazuje się wymyślone, a nie zmienione. Wiley, Springer Nature i Taylor and Francis również wyznaczają tę samą granicę w swoich wytycznych dla autorów. Recenzenci sprawdzają teraz dokładnie to, a nierozwiązany DOI jest zwykle pierwszą rzeczą, która zdradza sfabrykowane odniesienie.

Co się dzieje, gdy recenzent nie może rozwiązać DOI?

Ten mechaniczny test jest na tyle prosty, że można go wykonać w mniej niż minutę: wklej DOI do doi.org i sprawdź, dokąd prowadzi. Gdy DOI prowadzi do strony z komunikatem o braku wyniku albo do zupełnie innego artykułu niż ten cytowany, jest to silny sygnał, że cytowanie nigdy nie było rzeczywiste, zwłaszcza jeśli znajduje się w spisie literatury, który był współtworzony przez narzędzie AI.

Pojedynczy uszkodzony DOI sam w sobie nie przekreśla szans manuskryptu, ponieważ prawdziwy identyfikator rzeczywiście bywa czasem wpisany błędnie. O tym, jak reagować, decydują skala i wzorzec. Jeden uszkodzony odnośnik zwykle skutkuje zapytaniem do autora o poprawiony DOI albo o źródło pierwotne. Kilka uszkodzonych odnośników w tym samym spisie literatury, zwłaszcza skupionych w szybko napisanej sekcji przeglądu literatury, jest kierowanych dalej, poza rutynowe zapytanie, do rodzaju kontroli integralności cytowań, którą redaktor przeprowadza przed podjęciem dalszej decyzji.

Proces COPE, który stosuje redaktor

COPE, Committee on Publication Ethics, daje redaktorom uporządkowany sposób oceny problemu z cytowaniem, a nie jedną sztywną regułę. Jego wytyczne dotyczące integralności cytowań określają cztery czynniki, które redaktor ma ocenić przed podjęciem decyzji o dalszym postępowaniu.

• Charakter: czy odnośnik jest częściowo autentyczny, czy całkowicie sfabrykowany
• Umiejscowienie: gdzie znajduje się w pracy, na przykład w metaanalizie albo w pojedynczym akapicie dyskusji
• Kategoria: czy jest to odnośnik, którego nie da się odnaleźć, czy też autentyczny odnośnik przywołany dla czegoś, czego w rzeczywistości nie mówi
• Skala: czy chodzi o jeden lub dwa dotknięte odnośniki, czy o dużą część całej listy

To, jak redaktor ocenia te cztery czynniki, decyduje o tym, która reakcja jest właściwa: prosta korekta, opublikowane oświadczenie o zaniepokojeniu w trakcie trwania dochodzenia albo, w przypadku najpoważniejszego wzorca, bezpośredni kontakt z instytucją autora. Rozumowanie, które COPE podaje jako uzasadnienie, dlaczego narzędzie AI nie może ponosić winy, jest tym samym rozumowaniem, które stosuje ogólnie wobec autorstwa: odpowiedzialność za złożony manuskrypt spoczywa na wskazanych autorach, którzy przyjęli tę odpowiedzialność w chwili jego złożenia, a nie na jakimkolwiek narzędziu, które pomogło sporządzić po drodze akapit.

"The model made it up" wyjaśnia, w jaki sposób sfabrykowane odwołanie trafiło do manuskryptu. Nie stanowi to jednak usprawiedliwienia. Proces składania u każdego wydawcy wymaga od autora korespondencyjnego potwierdzenia, że manuskrypt jest poprawny, oraz przyjęcia odpowiedzialności za jego treść, a to właśnie ten krok zamienia błąd narzędzia AI we własny błąd autora.

Własny guide to the ethical line for AI-assisted academic writing TextPulse przedstawia tę samą zasadę odpowiedzialności: ujawnienie i weryfikacja następują przed złożeniem, a nie po tym, jak recenzent wykryje lukę.

Od korekty do wycofania: co naprawdę dzieje się z artykułem

Korekta jest najłagodniejszym skutkiem. Wydawca publikuje notę poprawiającą konkretny przypis, sam artykuł pozostaje na miejscu, a opublikowany zapis pokazuje dokładnie, co zostało zmienione i dlaczego. Zwykle właśnie tam trafia pojedynczy sfabrykowany cytat, gdy pojawia się w części, która nie wpływa na rzeczywiste ustalenia artykułu, a autor współpracuje i dostarcza prawdziwe źródło albo usuwa twierdzenie, które ten cytat miało wspierać.

Na drugim krańcu tego spektrum znajduje się wycofanie publikacji. Pierwszy zestaw wytycznych dotyczących wycofywania publikacji, opracowany przez COPE, wymienia również fabrykację i fałszowanie, ponownie kategorie, do których należy sfabrykowane odwołanie, jako jedną z wyraźnych przyczyn wycofania artykułu, obok plagiatu i wykrycia niewiarygodnych wyników. Proces ten nie znika po cichu. Wycofany artykuł pozostaje widoczny, a sam czasopismo oraz indeksy używane przez innych badaczy oznaczają go jako wycofany. Dlatego sfabrykowane odwołanie jest tak kosztowne, korekta ma charakter trwały i publiczny, a jej ślad pozostaje przy nazwisku autora tak długo, jak długo artykuł w ogóle da się odnaleźć.

Ujawnienie jest praktyczną obroną, a jak ujawnić użycie AI w artykule zostało omówione osobno, wraz z szablonem oświadczenia o ujawnieniu, który można dostosować zamiast redagować od podstaw.

Sprawdzanie odwołań było kiedyś najmniej interesującą częścią pracy recenzenta, formalnością przed rozpoczęciem właściwej krytyki. DOI, który nie daje się rozwiązać, odwrócił tę sytuację, często jest najszybszym i najczystszym sygnałem, że manuskrypt wymaga znacznie uważniejszej lektury niż reszta tekstu, którą już otrzymał.