Fałszywe pozytywy detektora AI: dlaczego ludzkie pisanie jest oznaczane

W 1982 roku New England Journal of Medicine opublikował artykuł o cytomegalowirusie u pacjentów po przeszczepie szpiku kostnego. Przeszedł on recenzję naukową i przez cztery dekady pozostawał w archiwum. W 2023 roku badacze przepuścili go przez detektor pisania AI, który OpenAI udostępnił publicznie, a narzędzie oceniło go jako 99.96 percent likely to be AI-generated, trzydzieści siedem lat przed tym, jak istniał model, na którym rzekomo miał być oparty. To jest fałszywie dodatni wynik detektora AI w najczystszej postaci, dokument oznaczony jako napisany przez maszynę, który nie może być napisany przez maszynę.

Ten przykład jest skrajny tylko ze względu na czas. Leżący u podstaw wzorzec, czyli odczytywanie przez detektor tekstu schematycznego, przewidywalnego jako wytworzonego przez maszynę, niezależnie od tego, kto go napisał i kiedy, pojawia się stale w zwykłych zgłoszeniach, esejach, listach motywacyjnych, raportach laboratoryjnych, oświadczeniach osobistych. Ten tekst omawia, co powoduje fałszywie dodatni wynik, jakie rodzaje pisania są najbardziej narażone oraz dlaczego pojedynczy oznaczony wynik nie jest takim dowodem, za jaki może uchodzić.

Czym jest fałszywie dodatni wynik detektora AI?

Fałszywie dodatni wynik detektora AI to fragment tekstu napisanego przez człowieka, który narzędzie wykrywające ocenia jako wygenerowany przez AI. Nie mierzy się tu niczego związanego z procesem pisania, uczciwością ani umiejętnościami autora. Narzędzie porównuje statystyczny kształt zdania, to, jak przewidywalny jest dobór słów i struktura, z kształtem, który nauczyło się kojarzyć z wynikiem pracy maszyny.

Dostawcy podają wskaźniki fałszywie dodatnich wyników jako jedną niewielką wartość procentową, zwykle poniżej jednego lub dwóch procent. Taka liczba opisuje kontrolowany test na benchmarku zbudowanym przez dostawcę, a nie gwarancję dotyczącą jakiegokolwiek pojedynczego dokumentu. Szersze pytanie o to, czy detektory AI są w ogóle dokładne zostało już przetestowane niezależnie, a wyniki są zupełnie inne, czasem znacznie wyższe niż jakakolwiek liczba podawana przez dostawcę. Ten tekst pozostaje węższy, dotyczy tego, jakie rodzaje pisania zwiększają to ryzyko oraz co oznaczony wynik może, a czego nie może powiedzieć komukolwiek.

Jakie cechy pisania sprawiają, że tekst ludzki wygląda jak napisany przez maszynę

Cztery rodzaje zwykłego pisania niosą największe ryzyko, a żaden z nich nie wiąże się z tym, że ktoś robi coś niewłaściwego. Krótkie dokumenty, pisanie silnie sformalizowane, materiał cytowany lub oparty na szablonie oraz tekst, który został gruntownie sprawdzony, zwykle uzyskują wynik wskazujący na większą przewidywalność niż proza tworzona swobodnie, a to właśnie tę jedną cechę mierzy w praktyce każdy detektor. Darmowy checker burstiness mierzy tę samą zmienność bezpośrednio, co jest szybszym sposobem dostrzeżenia wzorca niż czytanie jego opisu.

Niektóre gatunki są z założenia sformalizowane. Sekcja metod, raport laboratoryjny, standardowy list motywacyjny i przegląd literatury wszystkie premiują zwrot konwencjonalny zamiast pomysłowego, ponieważ to właśnie konwencja sprawia, że dokument jest użyteczny dla czytelnika. Badacze przetestowali to bezpośrednio na rzeczywistych tekstach, przepuszczając przez publicznie dostępny detektor 14,400 abstraktów z czasopism opublikowanych między 1980 i 2023, czyli w latach poprzedzających istnienie jakiegokolwiek dużego modelu językowego. Do 8 procent zostało oznaczonych jako wygenerowane przez AI niezależnie od roku publikacji, a abstrakty z New England Journal of Medicine zostały oznaczone na poziomie 10.24 procent, co stanowiło najwyższy wskaźnik fałszywie dodatni spośród pięciu testowanych czasopism.

Test nie mógł wykrywać niczego związanego z ChatGPT, ponieważ ChatGPT nie istniał przez większość lat, z których pobierano próbki. Wykrywał gatunek. Mówiąc bardziej formalnie, jak ujęłaby to statystyczna analiza problemu detekcji z 2026, nie ma sposobu zbudowania detektora, który odróżni zdanie przewidywalne dlatego, że zostało napisane przez oprogramowanie, od zdania przewidywalnego dlatego, że jest to rodzaj zdania, jaki pisze się w danym gatunku. Z zewnątrz wyglądają dokładnie tak samo.

Intensywna redakcja popycha w podobnym kierunku. Pierwszy szkic zawiera swoiste nieregularności autora, nietypowy szyk wyrazów, zdanie, które staje się zbyt długie, ponieważ taka była myśl. Dokładna korekta, zwłaszcza przeprowadzona przez inne narzędzie, ma tendencję do wygładzania właśnie tych nieregularności. Największe jak dotąd niezależne porównanie narzędzi detekcyjnych objęło 14 z nich i wykazało, że trafność spadła jeszcze bardziej, w przypadku każdego narzędzia, gdy tekst próbki został sparafrazowany lub przetłumaczony maszynowo.

Cechy pisma	Dlaczego obniża to pozorną nieprzewidywalność dokumentu	Co pokazują dowody
Krótkie zgłoszenia	Mniejsza ilość tekstu pozostawia mniej miejsca na naturalną zmienność, która odróżnia rytm ludzki od rytmu maszynowego	Wyniki w krótkich dokumentach bardziej się wahają pod wpływem kilku nietypowych zdań
Pisanie schematyczne lub specyficzne dla danej dyscypliny	Konwencja gatunkowa nagradza oczekiwane sformułowanie bardziej niż to pomysłowe	14,400 abstraktów z czasopism sprzed ChatGPT (1980 do 2023) nadal wywoływało do 8% fałszywych pozytywów, abstrakty jednego czasopisma osiągnęły 10.24%
Silnie redagowane lub sparafrazowane szkice	Etap wygładzania usuwa indywidualne nieregularności, które detektor odczytuje jako ludzkie	Niezależne porównanie 14 narzędzi wykazało, że trafność spadła jeszcze bardziej po parafrazie lub tłumaczeniu maszynowym
Materiał cytowany lub szablonowy	Cytowany fragment niesie statystyczny podpis swojego źródła, a nie autora cytującego	Detektory, które nie wyłączają cytatów, oceniają otaczający dokument na podstawie zapożyczonego tekstu

Dlaczego opublikowane wskaźniki i wskaźniki w warunkach rzeczywistych nie są zgodne

Każdy główny detektor publikuje wskaźnik fałszywie dodatnich wyników bliski jednego procenta lub niższy. Niezależne testy tych samych narzędzi, przeprowadzone na różnych dokumentach w różnych warunkach, rutynowo podają wynik znacznie wyższy, czasem nawet dziesięciokrotnie lub bardziej. Obie liczby mogą być poprawne i nadal opisywać niemal nic wspólnego, ponieważ nie mierzą tego samego.

Turnitin jest użytecznym przykładem właśnie dlatego, że publikuje więcej szczegółów niż większość konkurentów: odsetek wyników fałszywie dodatnich poniżej 1 procent na poziomie dokumentu, pod warunkiem że ponad 20 percent zgłoszenia zostanie oznaczone jako napisane przez AI, obok oświadczenia firmy, że wyniki w warunkach rzeczywistych różnią się od jej własnych testów laboratoryjnych. The Washington Post przepuścił 16 rzeczywistych dokumentów przez to samo narzędzie w 2023 roku i stwierdził, że ponad połowa wróciła co najmniej częściowo błędnie zidentyfikowana, w tym jeden całkowicie napisany przez człowieka esej oznaczony jako częściowo wygenerowany przez AI. Żadna z tych liczb nie jest zmyślona. Pochodzą z różnych próbek, różnych progów i różnych definicji tego, co liczy się jako oznaczenie.

Ta sama luka pojawia się w całej branży, nie tylko w jednej firmie. To porównanie 14 narzędzi wykazało, że każde z nich łącznie nie osiągnęło 80 percent dokładności, a sześć z czternastu wygenerowało wynik fałszywie dodatni dla niezmodyfikowanego ludzkiego tekstu, zanim w ogóle pojawiło się parafrazowanie. Opublikowana liczba opisuje benchmark. Nie opisuje dokumentu, który właśnie leży przed profesorem.

Dlaczego pewny wynik nie jest pewnym oskarżeniem

Odsetek wyników fałszywie dodatnich brzmi tak, jakby odnosił się do szansy, że jeden student oznaczony jako problematyczny jest niewinny. Ale nie. Opisuje on, jak test działa dla wszystkich osób, które go wykonują. A to są różne pytania z różnymi odpowiedziami, tak jak w przypadku każdego testu przesiewowego w medycynie lub bezpieczeństwie.

Marcowa analiza statystyczna z 2026 roku autorstwa badacza z Griffith University jasno przedstawia podstawową matematykę. Potraktuj wykrywanie AI jako test stosowany do populacji studentów piszących, a nie do jednego odizolowanego dokumentu, a pojawia się kompromis: ilekroć pewna część tej populacji pisze w sposób, który naturalnie pokrywa się z typowym wynikiem AI, blisko konwencji gatunkowej, blisko zakresu osoby uczącej się drugiego języka, każdy detektor o rzeczywistej skuteczności w wykrywaniu tekstów napisanych przez AI musi mylić się wobec części tej nakładającej się grupy. Nie jest to twierdzenie, że konkretny detektor został źle zbudowany. Jest to właściwość testowania zróżnicowanej populacji przy użyciu jednego dokumentu i bez żadnych innych dowodów.

Własny przykładowy przypadek opisany w artykule pokazuje skalę tego zjawiska. Załóżmy, że 10 procent populacji studentów pisze w sposób wystarczająco zbliżony do typowego wyniku AI, a detektor jest dostrojony tak, aby wykrywać 80 procent rzeczywiście tekstów napisanych przez AI. Matematyka wymaga wtedy średniego wskaźnika fałszywie dodatnich wyników na poziomie co najmniej 7.5 procent w całej tej populacji. Nie jest to wada konstrukcyjna detektora, lecz bezpośrednia konsekwencja tego, jak bardzo pisanie tej grupy statystycznie pokrywa się z tym, co ma być wykrywane.

Przeliczone na uniwersytet liczący 10,000 studentów, sam ten dolny próg oznacza około 750 fałszywych oznaczeń w całej populacji, co jest matematyczną konsekwencją testowania zróżnicowanej populacji za pomocą jednego dokumentu, bez żadnych innych dowodów, które można by uwzględnić. Autor artykułu wyraźnie zaznacza, że te konkretne liczby mają charakter ilustracyjny, a nie zostały zmierzone w rzeczywistej instytucji. Przykład pokazuje kształt problemu, a nie konkretną prognozę dla jednego kampusu.

Nic z tego nie oznacza, że wynik oznaczony jako podejrzany jest bez znaczenia. Oznacza to, że wynik jest jednym słabym sygnałem na poziomie populacji, od którego oczekuje się odpowiedzi na pytanie dotyczące jednej osoby, a takiej rozbieżności nie da się całkowicie usunąć samym dopracowaniem narzędzia przez dostawcę. Odpowiedzialna interpretacja traktuje tę liczbę jako sygnał do zebrania lepszych dowodów: wersji roboczych, historii zmian, zwykłego śladu pracy osoby, która rzeczywiście coś pisze. Darmowe narzędzia TextPulse pozwalają autorowi sprawdzić, gdzie dany szkic znajduje się obecnie według tych samych pomiarów, zanim zrobi to ktokolwiek inny, co stanowi inne zastosowanie tej technologii niż próba pokonania konkretnego detektora.

Którzy autorzy są najbardziej narażeni

Badanie pokazuje dwie grupy, które wyróżniają się bardziej niż wszystkie inne: osoby piszące w drugim języku oraz osoby, które z natury piszą bardzo uporządkowanie albo powtarzalnie, z powodów niezwiązanych z tym, jak napisały swój esej. Oba te typy autorów pojawiają się w tym samym statystycznym sygnale, do którego wykrywania detektor został zbudowany.

Osoby, dla których angielski nie jest językiem ojczystym, ponoszą największe udokumentowane ryzyko. Niezależne testy wielokrotnie wykazały, że detektory błędnie odczytują płynne akademickie teksty w drugim języku jako wygenerowane przez maszynę, i to ze znacznie wyższą częstością niż teksty native speakerów. Strona TextPulse dla akademickich autorów ESL omawia dokładniej mechanizm stojący za tym ryzykiem, w tym to, które wzorce sformułowań za nie odpowiadają.

Druga, rzadziej omawiana grupa mierzy się z problemem pokrewnym. Badacze porównali około 60,000 wpisów z Reddita, podzielonych na podzbiór zidentyfikowany jako prawdopodobnie napisany przez autorów autystycznych oraz próbę ogólną, a następnie przepuścili oba zbiory przez detektor oparty na GPT-2. Obie grupy pozostały łącznie poniżej 2 procent oznaczeń, ale podzbiór prawdopodobnie autystyczny był oznaczany ze znacząco wyższą częstością niż próba ogólna. Pisanie skłaniające się ku dosłownemu, powtarzalnemu, ściśle uporządkowanemu sformułowaniu, co jest udokumentowaną cechą niektórych autystycznych stylów komunikacji, wytwarza dokładnie taki tekst o niskiej zmienności, do wykrywania którego detektor został zbudowany.

Dwaj dostawcy publikują wystarczająco dużo, by sprawdzić to twierdzenie. Własny wskaźnik fałszywie dodatnich wyników Turnitin został przedstawiony osobno, a dokładność ZeroGPT została omówiona na własnej stronie. To, kogo te błędy najmocniej dotykają, jest jeszcze innym pytaniem, a dlaczego piszący po angielsku niebędący native speakerami są oznaczani częściej ma własną odpowiedź.

Nic z tego nie wydaje się w najbliższym czasie prostsze. Detektory będą nadal się doskonalić w wykrywaniu rzeczywiście maszynowo napisanych tekstów, a zróżnicowanie populacji będzie nadal generować pewien odsetek fałszywych oskarżeń, którego sama lepsza inżynieria nie zdoła całkowicie wyeliminować. Bardziej użyteczna zmiana już zachodzi w niektórych instytucjach, traktowanie wyniku jako początku rozmowy, a nie jej końca, oraz pytanie, na jakiej populacji opublikowany wskaźnik został rzeczywiście przetestowany, zanim uzna się, że ma zastosowanie do dokumentu leżącego przed nimi.