Czy detektory AI są dokładne? Fałszywe pozytywy i stronniczość

Turnitin twierdzi, że ich wskaźnik fałszywie dodatnich wyników jest niższy niż 1%. Grupa niezależnych badaczy przetestowała wiele detektorów na szerszym zbiorze próbek pisma autorów niebędących rodzimymi użytkownikami języka angielskiego. Stwierdzili, że średni wskaźnik fałszywie dodatnich wyników wynosił ponad 60% w przypadku tego samego rodzaju pisma. Obie liczby są prawdziwe, obie zostały opublikowane i obie dotyczą detektorów sprzedawanych na ten sam rynek. Czy detektory AI są dokładne? To zależy od tego, jaką populację przetestowano, jakiego detektora użyto i jak dostawca zdefiniował to pojęcie od samego początku.

Ten wpis nie będzie ponownie wyjaśniał, jak detektor oblicza ten wynik. Mechanizm, perplexity, prawdopodobieństwo tokenów, sposób trenowania klasyfikatora, został szczegółowo omówiony w innym miejscu i warto go najpierw przeczytać, jeśli jeszcze tego nie zrobiono. Tutaj istotne jest to, co dzieje się, gdy wynik już istnieje: jak często jest błędny, wobec czyjego pisma najczęściej jest błędny oraz ile tak naprawdę kosztuje kogoś fałszywe oskarżenie, jeśli nie zrobił nic złego.

Czy detektory AI są dokładne?

Nie są konsekwentnie dokładne, a rozbieżność między twierdzeniami marketingowymi a niezależnymi testami jest dobrze udokumentowana. Grupa badaczy kierowana przez Deborę Weber-Wulff opublikowała wyniki dotyczące 14 narzędzi do wykrywania, w tym 12 bezpłatnych i dwóch komercyjnych, które przetestowano na mieszaninie tekstu ludzkiego i tekstu ChatGPT w 2023 roku. Stwierdzili, że żadne z tych narzędzi nie są dokładne ani wiarygodne, a ich wbudowane uprzedzenie polega na oznaczaniu tekstu maszynowego jako ludzkiego, a nie odwrotnie. Dwa z komercyjnych narzędzi uwzględnionych w tym teście to Turnitin i PlagiarismCheck. Wszystkie narzędzia w tym teście działały gorzej, gdy tekst był sparafrazowany.

Jednak po dwóch latach sytuacja nie jest zastygła. Working paper z Booth School Uniwersytetu Chicago, autorstwa Briana Jabariana i Alexa Imasa, poddał trzech nowych uczestników, Pangram, GPTZero i Originality.ai, oraz jednego konkurenta open source próbie z niemal 2.000 tekstów napisanych przez ludzi, pochodzących z blogów, wiadomości, recenzji i fikcji. W kontrolowanych warunkach testowych najlepsze narzędzie w tym zestawieniu nigdy nie spadło poniżej 99.8 procent dokładności i utrzymało niski poziom wskaźnika fałszywie dodatnich wyników. Model open source wypadł tak samo dobrze jak losowy zgadywacz. Sytuacja rzeczywiście się poprawiła. W pewnym sensie. Trochę.

Ale haczyk tkwi w słowie kontrolowane. Fragmenty benchmarkowe są czyste, kompletne i wytworzone w znanych warunkach. Złożony esej nie spełnia żadnego z tych warunków w sposób niezawodny. Jak publicznie powiedział chief product officer Turnitin, wyniki w świecie rzeczywistym mogą nie być identyczne z wynikami laboratoryjnymi, choć jest to rzadkie i użyteczne przyznanie się ze strony dostawcy. Następna sekcja zestawia liczby podawane przez dostawców z liczbami niezależnymi, aby luka była widoczna, a nie tylko deklarowana.

Twierdzenia dostawców a niezależne testy

Poniższa tabela zestawia to, co cztery detektory deklarują o sobie, z tym, co zmierzyli niezależni badacze, gdy testowali te narzędzia bezpośrednio. Należy czytać razem dwie środkowe kolumny, a nie samą kolumnę dostawcy.

Detektor	Dokładność deklarowana przez dostawcę	Niezależnie zaobserwowana	Co dostawca mówi o wynikach fałszywie dodatnich
Turnitin	Próg pewności 98% przed oznaczeniem, mniej niż 1% fałszywie dodatnich na poziomie dokumentu	Około 80% dokładności, najlepszy spośród 12 narzędzi w porównaniu z 2023 roku, w odniesieniu do wcześniejszej wersji narzędzia	Poniżej 1% na poziomie dokumentu powyżej progu 20% tekstu napisanego przez AI, około 4% na poziomie zdania
GPTZero	95.7% wykrywania tekstu AI przy 1% wskaźniku fałszywie dodatnich w niezależnym benchmarku RAID	96% dokładności w krótkich fragmentach, wskaźnik fałszywie dodatnich poniżej 1% w badaniu University of Chicago Booth z 2025 roku	Podaje 1% wskaźnik fałszywie dodatnich w benchmarku RAID
Originality.ai	99% dokładności, 0.5% wskaźnik fałszywie dodatnich, model Lite, 1.5%, model Turbo	Wskaźnik fałszywie dodatnich poniżej 1%, ale przeoczył od 10% do 40% tekstu napisanego przez AI w tym samym badaniu Booth	Publikuje odrębne wartości fałszywie dodatnich według poziomu modelu
Pangram	Wskaźniki błędu, które według niego są ponad 38 razy niższe niż w narzędziach konkurencyjnych, twierdzi, że nie ma uprzedzeń wobec osób piszących po angielsku niebędących native speakerami	Dokładność nigdy nie niższa niż 99.8%, wskaźnik fałszywie dodatnich bliski zeru, w badaniu Booth	Twierdzi, że wskaźniki fałszywie dodatnich są bliskie zeru w 10 domenach tekstowych i 8 modelach językowych

Dwie rzeczy rzucają się w oczy. Po pierwsze, wszystkie dane dostawców pochodzą z laboratorium kontrolowanego przez dostawcę, a dane Booth pochodzą od badaczy, którzy nie mają nic do sprzedania. Po drugie, Turnitin w ogóle nie pojawia się w tej środkowej kolumnie, ponieważ badanie z 2025 roku nie testowało tego narzędzia. W tabeli jego niezależna wartość opiera się na wcześniejszym porównaniu z 2023 roku, ale została uzyskana na starszej wersji narzędzia, więc należy o tym pamiętać, patrząc na tabelę jako na porównanie typu like-for-like.

Jak dokładne jest wykrywanie AI przez Turnitin?

Turnitin nie publikuje jednej liczby dokładności. Zamiast tego publikuje próg i kompromis. Firma stwierdziła, że oznacza dokument tylko wtedy, gdy ma 98 procent pewności, że oznaczona część została napisana przez AI, oraz że to właśnie ten próg utrzymuje odsetek fałszywie dodatnich wyników na poziomie dokumentu poniżej 1 procent. Turnitin oszacował, że wykrywa około 85 procent tekstów wspomaganych przez AI, przepuszczając resztę celowo, zamiast ryzykować błędny zarzut.

Rzeczywisty odsetek fałszywie dodatnich wyników, jakie Turnitin zwraca na poziomie zdania, gdzie interfejs podświetla konkretne linie zamiast całego dokumentu, jest w rzeczywistości bliższy 4 procent. To liczba warta poznania, jeśli profesor robi zrzut ekranu jednego oznaczonego akapitu zamiast wyniku dla całego dokumentu, ponieważ podświetlone zdanie niesie ze sobą istotnie większe prawdopodobieństwo błędu niż widoczny obok niego wynik dla dokumentu.

Warto też zauważyć, że Turnitin bezpośrednio przyznał istnienie tej rozbieżności. Ustalono, że ich pierwsze wyniki z rzeczywistego użycia, zwłaszcza dla krótszych dokumentów, miały wyższe wskaźniki fałszywie dodatnich wyników, niż oczekiwano na podstawie testów laboratoryjnych. Dlatego zmieniono minimalną długość dokumentu, od której jest on oceniany, z 150 do 300 słów. To dostawca, który dostosowuje własny produkt, ponieważ opublikowana liczba nie sprawdziła się poza laboratorium, a to mówi tyle samo co każde badanie niezależne.

Co fałszywie dodatni wynik naprawdę kosztuje studenta

Przydarzyło się to studentowi executive MBA w Yale's School of Management. Student został oskarżony o naruszenie, w najbardziej dosłownym możliwym sensie. Użytym detektorem był GPTZero. Egzamin końcowy studenta na kursie finansów został oznaczony przez asystenta dydaktycznego, który uznał, że tekst jest długi i rozbudowany, z niemal doskonałą interpunkcją i gramatyką. A ten konkretny profesor przepuszczał go przez GPTZero, które oceniło odpowiedzi jako prawdopodobnie wygenerowane przez AI.

Nie zaliczył kursu i został zawieszony na rok. Jego pozew, złożony w sądzie federalnym w lutym 2025, twierdzi, że własna polityka Yale ogranicza użycie narzędzi takich jak GPTZero właśnie z tego powodu, jego udokumentowanego wskaźnika fałszywie dodatnich wyników wobec osób niebędących rodzimymi użytkownikami języka angielskiego, oraz że użył go z naruszeniem tej polityki. W piśmie procesowym wskazano także, że GPTZero przyznał 100 procentowy wynik treści wygenerowanej przez AI w przypadku tekstu akademickiego autorstwa byłego rektora Yale oraz dziekana szkoły biznesu.

Sędzia odmówił wydania w maju 2025 wstępnego nakazu sądowego. Sprawa nadal nie została rozstrzygnięta, gdy to piszę. Powód, obywatel Francji, twierdzi, że ten sam znany błąd systematyczny wobec osób niebędących rodzimymi użytkownikami języka angielskiego spowodował, że jego tekst wypadł właśnie w taki sposób. To analizujemy w następnej sekcji. To, co nie podlega dyskusji, to cena, rok stracony z programu studiów, ocena niedostateczna, koszty prawne i kilka miesięcy walki o wynik zamiast zdobywania dyplomu. 1 procentowy wskaźnik fałszywie dodatnich wyników brzmi niegroźnie, dopóki duża populacja nie sprawi, że stanie się problemem konkretnej osoby.

Dlaczego detektory AI błędnie klasyfikują osoby niebędące rodzimymi użytkownikami języka angielskiego?

Źle, i to z dużą przewagą. Taki był wniosek z badania, które jako pierwsze ujęło to liczbowo. Badacze ze Stanford przeprowadzili siedem szeroko używanych detektorów GPT na 91 esejach TOEFL napisanych przez osoby niebędące rodzimymi użytkownikami języka angielskiego oraz na 88 esejach uczniów ósmej klasy z USA. Detektory niemal za każdym razem poprawnie odczytywały eseje ósmoklasistów. Jeśli chodzi o eseje TOEFL, napisane przez dorosłych na tyle biegłych, by zdawać egzamin z języka angielskiego na poziomie studiów magisterskich, detektory osiągnęły średni wskaźnik fałszywie dodatnich wyników na poziomie 61.3 procent. Osiemdziesiąt dziewięć z 91 esejów zostało oznaczonych jako wygenerowane przez GPT przez co najmniej jeden z siedmiu detektorów, 18 z tych esejów zostało oznaczonych przez wszystkie siedem detektorów.

Mechanizm jest taki sam jak ten, który rządzi resztą wykrywania: przewidywalne słownictwo i prostsza budowa zdań są odczytywane jako niska perplexity, a niska perplexity jest odczytywana jako wytworzona przez maszynę, niezależnie od tego, kto trzyma pióro. Autorzy pracujący w drugim języku opierają się na dobrze ugruntowanych sformułowaniach, ponieważ właśnie tak wygląda płynność w dodatkowym języku, i dokładnie taki profil ma wykrywać detektor.

Autorzy w takiej sytuacji nie otrzymują dobrej pomocy z rady, by po prostu pisać bardziej naturalnie, ponieważ to właśnie to, co było naturalne, zostało oznaczone. Strona TextPulse dla autorów akademickich ESL omawia bardziej szczegółowo wzorce sformułowań stojące za tym ryzykiem, w tym to, co je zmienia, nie zmieniając znaczenia zdania.

Nie był to przypadek odosobniony. W grudniu 2025 roku opublikowano nowy benchmark, zaprojektowany wyraźnie do oceny stronniczości w tych detektorach. Zawierał ponad 200,000 próbek obejmujących wiele grup demograficznych i języków. Mimo że minęły dwa lata od pierwszego badania Stanford i mimo uwzględnienia wielu różnych wersji modeli tych samych detektorów, ten benchmark ujawnił, że stronniczość wobec osób uczących się języka angielskiego nadal występuje.

Nie dotyczy to wszystkich dostawców. Własna dokumentacja techniczna Pangram stwierdza, że jej klasyfikator nie jest stronniczy wobec osób, dla których angielski nie jest językiem ojczystym. Badacze z Chicago Booth nie przetestowali tego twierdzenia niezależnie, ale pokazuje ono, że nowsza generacja detektorów jest budowana z uwzględnieniem tego problemu, a nie z jego ignorowaniem.

Jeśli chcesz zobaczyć, gdzie znajduje się Twoje własne pisanie, zanim ktoś inny je oceni, darmowy checker perplexity daje Ci tę samą wartość bazową, którą obliczyłby detektor, bez wcześniejszego przesyłania czegokolwiek do instytucji.

Kto jeszcze jest oznaczany i dlaczego

Osoby, dla których angielski nie jest językiem ojczystym, ponoszą największe udokumentowane ryzyko, ale ta sama logika statystyczna obejmuje także inne teksty. Zespół Weber-Wulff stwierdził, że wszystkie 14 narzędzi, które testowali, były mniej dokładne, gdy stosowali je do tekstów sparafrazowanych, a to opisuje znaczącą część pisania akademickiego, które zostało wcześniej poprawione przez korektora, redaktora albo przez czerwony długopis promotora, zanim ktokolwiek uruchomił na nim detektor.

Nic z tego nie oznacza, że liczba jest bez znaczenia, tylko że wymaga potwierdzenia, zanim zacznie cokolwiek znaczyć o konkretnej osobie. Jeśli masz tekst, który brzmi jednolicie, ma podobną długość zdań i podobny rytm w całym tekście, otrzyma on wyższy wynik jako bardziej maszynowy, niezależnie od tego, kto go napisał i dlaczego. Można to sprawdzić bezpośrednio za pomocą darmowego sprawdzacza burstiness, zamiast zgadywać.

Jak wygląda obrona polityki wykrywania AI

Yale już miało politykę, która podobno ogranicza narzędzia takie jak GPTZero, z powodów bardzo zbliżonych do tych, które przedstawiono w tym artykule, udokumentowany wskaźnik fałszywie dodatnich wyników oraz udokumentowane uprzedzenie wobec osób piszących po angielsku jako języku obcym. Nie jest to więc tyle historia jednego pechowego studenta, ile raczej przypadek niewdrożenia istniejącej zasady. Gdy polityka rzeczywiście egzekwuje różnicę między wynikiem a werdyktem, wynik staje się jednym z elementów oceny, a nie werdyktem.

• Traktuj wynik jako jeden z elementów oceny, nigdy jako jedyną podstawę stwierdzenia naruszenia
• Ujawnij studentom opublikowany wskaźnik fałszywie dodatnich wyników narzędzia przed jego użyciem wobec nich
• Stosuj szczególną ostrożność wobec krótkich prac i tekstów pisanych po angielsku jako języku obcym, ponieważ są to oba udokumentowane słabe punkty
• Zagwarantuj drogę odwołania, która nie wymaga obalenia statystyki

Nic z tego nie jest niezwykłe. Jest to bliższe temu, jak należałoby traktować pojedynczy dowód kryminalistyczny w każdym innym kontekście, użyteczny, możliwy do sprawdzenia i nigdy niewystarczający sam w sobie.

W przypadku pojedynczego autora ta sama zasada obowiązuje zanim pojawi się wynik, a nie dopiero po nim. Pojedyncza liczba, z dowolnego narzędzia, jest szacunkiem, a nie werdyktem, a traktowanie jej jako pewności w którąkolwiek stronę, bezpiecznie albo przyłapany, wymaga od tej liczby więcej, niż może ona uzasadnić.

Narzędzie TextPulse, AI humanizer tool, podaje Human Score oparty na tej samej logice: jest to szacunek obliczony na podstawie własnego tekstu, a nie werdykt detektora na jego temat, przydatny jako sygnał tego, jak obecnie brzmi szkic, a nie jako obietnica tego, co powie konkretny detektor.

Pytanie o dokładność rozdziela się na węższe kwestie, z których każda ma własną stronę. Odsetek, z jakim detektory oznaczają tekst napisany przez człowieka, jest omówiony osobno, podobnie jak szczegółowe dane dotyczące odsetka fałszywych trafień Turnitin oraz dokładności ZeroGPT. Jeśli wynik został już użyty przeciwko Tobie, istnieją praktyczne materiały o tym, co zrobić, gdy zostaniesz oskarżony o użycie AI, o dowodach, które możesz zgromadzić, aby udowodnić, że nie użyłeś AI, oraz o napisaniu pisma odwoławczego, które odpowiada na wynik na jego własnych zasadach.

Liczba w każdym raporcie będzie się zmieniać, ponieważ dostawcy ponownie trenują swoje modele, a badacze nadal testują je na trudniejszych przypadkach. Jednak to, co nie powinno się zmieniać, to stojący za tym nawyk: odczytywać wynik jako jeden z kilku pomiarów, pytać, na jakiej populacji został zwalidowany, oraz pytać, czego dostawca nie mówi o przypadkach, w których nadal się myli.