Dlaczego detektory AI są stronnicze wobec piszących po angielsku niebędących native speakerami

To, że detektory AI są stronnicze wobec osób niebędących rodzimymi użytkownikami języka, nie jest subiektywną skargą. Recenzowane badanie Stanford z 2023 roku zmierzyło to bezpośrednio. Badacze uruchomili siedem szeroko używanych detektorów GPT na 91 autentycznych esejach TOEFL napisanych przez osoby niebędące rodzimymi użytkownikami języka angielskiego oraz na 88 esejach napisanych przez amerykańskich uczniów ósmej klasy, a następnie porównali wyniki obu grup.

Detektory niemal za każdym razem poprawnie odczytywały eseje uczniów ósmej klasy. W przypadku esejów TOEFL, napisanych przez dorosłych, którzy wcześniej zdali już egzamin z biegłości językowej na poziomie studiów magisterskich, te same siedem narzędzi zwróciło średni odsetek wyników fałszywie dodatnich na poziomie 61.22 percent. Osiemdziesiąt dziewięć z dziewięćdziesięciu jeden esejów, niemal 98 percent, zostało oznaczonych jako wygenerowane przez AI przez co najmniej jedno z siedmiu narzędzi.

Przegląd TextPulse dotyczący szerszych dowodów na dokładność detektorów AI omawia to kluczowe ustalenie oraz pozwy sądowe, do których od tego czasu doprowadziło. To, co niemal wszędzie pomija się przy przywoływaniu tego badania, to mechanizm, dlaczego proza osoby posługującej się angielskim na poziomie magisterskim w ogóle brzmi jak tekst maszynowy, oraz co się zmienia, gdy przestaje tak brzmieć.

Detektory AI stronnicze wobec osób niebędących rodzimymi użytkownikami języka, mechanizm

Detektor nigdy nie odczytuje znaczenia. Odczytuje to, jak przewidywalne jest każde słowo, biorąc pod uwagę słowa, które je poprzedzały, i przyznaje niski wynik fragmentowi wtedy, gdy model mógł przewidzieć większość z niego z wyprzedzeniem. Różnorodność leksykalna, czyli to, jak szerokiego zasobu słownictwa używa autor, zamiast powtarzać mniejszy zestaw bezpiecznych słów, oraz przewidywalność składniowa, czyli to, jak ściśle struktura zdań podąża za najczęstszym wzorcem dla danego języka, zamiast go różnicować, to dwie właściwości produkcji językowej, które obniżają ten wynik.

Rozróżnienie ma znaczenie, ponieważ oba zjawiska ujawniają się na stronie w odmienny sposób. Zróżnicowanie leksykalne dotyczy samych słów: autor, który sięga po „obtain”, „acquire” i „secure” w trzech różnych zdaniach, sprawia wrażenie bardziej zróżnicowanego niż ktoś, kto trzy razy pisze „get”, nawet jeśli zdania są poza tym identyczne. Przewidywalność składniowa dotyczy struktury: podmiot, czasownik, dopełnienie, powtarzane raz po raz, zamiast zdania, które zaczyna się od zdania podrzędnego albo kończy nieoczekiwanym słowem. Autor piszący w drugim języku w warunkach egzaminacyjnych ma wszelkie powody, by wybierać bezpieczniejszą wersję obu tych elementów.

Pisanie w drugim języku konsekwentnie wykazuje mniejszy stopień obu tych cech, i nie jest to wada. Autor posługujący się dodatkowym językiem opiera się na słownictwie i wzorcach zdań, które z największym prawdopodobieństwem będą poprawne, ponieważ błędne zgadywanie kosztuje więcej, gdy język nie jest jeszcze w pełni zautomatyzowany. Artykuł ze Stanford, który udokumentował stronniczość detektora, przywołuje korpus badań z zakresu lingwistyki stosowanej dotyczących dokładnie tego wzorca, ustalonego na długo przed pojawieniem się detektorów AI: obniżone bogactwo leksykalne, obniżone zróżnicowanie leksykalne i prostsza struktura zdań są udokumentowanymi, mierzalnymi cechami pisania w drugim języku, a nie oznaką czegokolwiek innego.

Ta różnica między pisaniem rodzimym i nierodzimym ujawnia się jako różnica w perplexity, czyli w tym samym pomiarze, który detektor wykorzystuje, aby zdecydować, czy dany fragment został wygenerowany przez maszynę. Niższe perplexity odczytuje się jako bardziej maszynowe, niezależnie od tego, kto je wytworzył, a pisanie w nierodzimym języku plasuje się niżej na tej skali z powodów, które nie mają nic wspólnego z chatbotem. To, czy właśnie ta różnica rzeczywiście napędza działanie detektorów, a nie jest jedynie zbiegiem okoliczności, jest pytaniem, które można sprawdzić empirycznie. Zespół ze Stanford przetestował to bezpośrednio.

Co się stało, gdy te same eseje przepisano z bogatszym słownictwem

Badacze wzięli te same 91 esejów TOEFL, które wcześniej wywołały średni wskaźnik fałszywie dodatnich wyników na poziomie 61.22 percent, i poprosili ChatGPT o ich przeredagowanie za pomocą jednej instrukcji: "Enhance the word choices to sound more like that of a native speaker." Nie polecono zmieniać niczego w treści, argumentacji ani gramatyce. Po tej jednej edycji średni wskaźnik fałszywie dodatnich wyników wśród tych samych siedmiu detektorów spadł do 11.77 percent, czyli o niemal pięćdziesiąt punktów procentowych, a liczba esejów, które wszystkie detektory jednomyślnie oznaczyły, spadła z osiemnastu do jednego.

Następnie badacze przeprowadzili eksperyment w odwrotnym kierunku. Wzięli 88 esejów uczniów ósmej klasy, napisanych przez native speakerów, które detektory początkowo oceniały poprawnie niemal za każdym razem, i poprosili ChatGPT o uproszczenie doboru słownictwa tak, jakby tekst został napisany przez osobę niebędącą native speakerem. Średni wskaźnik fałszywie dodatnich wyników dla tych samych esejów napisanych przez native speakerów wzrósł z 5.19 percent do 56.65 percent. Autorstwo esejów się nie zmieniło. Zmieniło się wyłącznie słownictwo, a detektory podążyły za słownictwem.

Perplexity zmieniało się zgodnie ze wskaźnikiem błędnej klasyfikacji w obu kierunkach, gwałtownie rosło, gdy eseje TOEFL były wzbogacane, i gwałtownie spadało, gdy eseje uczniów ósmej klasy były upraszczane. Autorzy wyciągają z tego jednoznaczny wniosek: na to, na co detektory rzeczywiście reagowały, nigdy nie było autorstwo. Był to dobór słów, właściwość, którą może nieść słownictwo każdego piszącego, niezależnie od tego, gdzie nauczył się angielskiego.

Jak spójne jest to uprzedzenie między różnymi detektorami

Siedem detektorów niewiele się ze sobą zgadzało, z wyjątkiem kierunku, w którym przebiegał błąd. Każdy z nich znacznie częściej oznaczał eseje TOEFL niż eseje uczniów ósmej klasy, lecz w bardzo różnych proporcjach.

Detektor	Wskaźnik fałszywie pozytywnych wyników, eseje TOEFL	Wskaźnik fałszywie pozytywnych wyników, eseje rodzimych użytkowników
Originality.ai	76%	1%
Quil.org	75%	9%
Sapling	68%	5%
detektor OpenAI	58%	9%
Crossplag	52%	12%
GPTZero	52%	0%
ZeroGPT	48%	0%

Są to dane z 2023 roku, mierzone na narzędziach w ich ówczesnej postaci. Kilka z nich od tego czasu całkowicie się zmieniło: OpenAI wyłączyło własny detektor w lipcu 2023 roku, cztery miesiące po tym teście, po stwierdzeniu, że poprawnie oznaczał on tylko 26 procent rzeczywistego tekstu napisanego przez AI, a jednocześnie błędnie klasyfikował 9 procent tekstu napisanego przez człowieka. To, co się nie zmieniło, to kierunek tej luki. Szerszy benchmark uprzedzeń, zbudowany specjalnie do testowania detektorów w kategoriach demograficznych i językowych, opublikowany w grudniu 2025 roku i przeprowadzony na czterech nowszych narzędziach open source, nadal wykazywał konsekwentnie niższy recall w przypadku niedostatecznie reprezentowanych grup autorów.

Czy to uprzedzenie nadal pojawia się w nowszych detektorach?

Badanie Stanford jest już o kilka generacji AI starsze, a jego autorzy sami wskazali ograniczenie: niewielką próbę pilotażową oraz detektory zbudowane głównie na GPT-2, znacznie mniejszym i starszym modelu niż ten, który napędza dzisiejsze wykrywanie. To rodzi zasadne pytanie. Czy lepsza technologia zamknęła tę lukę?

Najbardziej aktualny dedykowany test mówi, że jeszcze nie. W badaniu z lutego 2026 roku przeprowadzonym na Sultan Qaboos University badacze przetestowali dwa obecne komercyjne detektory, Turnitin i Originality, na 192 tekstach łączących autentyczne przed-ChatGPT pisanie studentów EFL, profesjonalne pisanie ludzkie, tekst generowany przez AI oraz hybrydowy tekst ludzko-AI. Wyniki wykazały ogólną dokładność na poziomie 69 procent i 61 procent dla tych dwóch narzędzi, przy czym dokładność w kategorii hybrydowej, czyli rodzaju pisania, który w rzeczywistości powstaje po etapie redakcji, spadła niemal do zera. To samo badanie ujawniło także drugi rodzaj stronniczości, występujący równolegle ze stronniczością językową, dokładność w przypadku pisania naukowego była o 28 do 38 punktów procentowych niższa niż w przypadku pisania humanistycznego.

Żadne z tych ustaleń nie dotyczy pojedynczego wadliwego produktu. Dwie różne architektury detektorów, testowane w odstępie trzech lat na różnych korpusach przez różne zespoły badawcze, konsekwentnie dają ten sam wynik, pisanie ukształtowane przez konwencję gatunkową albo przez drugi język znajduje się bliżej tego, co narzędzia te nazywają wytworem maszyny, niż pisanie, które nie jest ani jednym, ani drugim. darmowe narzędzia TextPulse pozwalają autorowi sprawdzić ten sam profil statystyczny, zanim cokolwiek trafi do detektora danej instytucji.

Niezależne dowody, że luka jest rzeczywista, a nie jest artefaktem testu

Pierwszym problemem z wynikami TOEFL jest to, że można by twierdzić, iż odnoszą się one jedynie do niewielkiego badania pilotażowego z 2023 roku. Ten zarzut został odparty przez ten sam zespół badawczy w innym badaniu wykorzystującym dane, które nie mają nic wspólnego z detektorami. Przeanalizowali oni 1.574 prace przyjęte na ICLR 2023, dużą konferencję z zakresu uczenia maszynowego, ograniczając próbę do abstraktów zgłoszonych i ocenionych przed pojawieniem się ChatGPT.

Autorzy z krajów, w których angielski nie jest językiem podstawowym, pisali abstrakty o istotnie niższej perplexity niż autorzy z krajów anglojęzycznych, a różnica utrzymywała się nawet po uwzględnieniu tego, jak wysoko każdy artykuł został oceniony przez recenzentów. Ta próba nie mogła zostać ukształtowana przez nikogo, kto próbował brzmieć bardziej lub mniej jak chatbot. ChatGPT był trzy miesiące przed premierą, gdy zamknięto okno nadsyłania. Luka w perplexity między akademickim pisaniem rodzimych i nierodzimych użytkowników angielskiego nie jest czymś, co wymyśliły detektory. To coś, co odziedziczyły.

Statystyczna analiza wykrywania AI z 2026 roku, traktująca to jako problem testowania, przedstawia formalną wersję tego samego wniosku. Ilekroć grupa autorów wytwarza język, który w ujęciu zbiorczym nakłada się na typowe wyjście AI, każdy detektor o rzeczywistej skuteczności w wykrywaniu tekstu napisanego przez AI musi mieć wyższy wskaźnik fałszywie dodatnich wyników dla tej właśnie grupy, co stanowi matematyczną właściwość testowania zróżnicowanej populacji, a nie wadę jakiegokolwiek pojedynczego narzędzia. Autorzy piszący po angielsku jako języku nierodzimym są najjaśniej udokumentowanym przypadkiem dokładnie takiego nakładania się.

Co to oznacza dla autorów piszących w drugim języku

Nic z tego nie jest argumentem za tym, by pisać mniej jak samemu sobie. To powód, by wiedzieć, co rzeczywiście jest mierzone, zanim pojawi się wynik. Detektor odczytujący Twój tekst jako przewidywalny wychwytuje rzeczywistą właściwość statystyczną pisania w drugim języku, a nie dowód na to, że użyłeś narzędzia, którego nie użyłeś.

Naukowcy ze Stanford, którzy przeprowadzili pierwotne badanie, zauważają niewygodną implikację własnego wyniku, to znaczy, że ta sama korekta słownictwa, która obniża ryzyko fałszywie dodatniego wyniku, jest również takim rodzajem redakcji, jakiej autor mógłby chcieć z całkowicie odrębnych powodów, jaśniejszego sformułowania, bardziej precyzyjnego słowa, niezależnie od jakiegokolwiek detektora. Strona TextPulse dla akademickich autorów ESL omawia, jak taki rodzaj redakcji wygląda w rzeczywistych zdaniach, niezależnie od wszystkiego, co wiąże się z wynikiem detekcji.

Nowsze detektory zaczynają wyraźnie uwzględniać ten wzorzec. Pangram, jeden z nowszych komercyjnych uczestników rynku, stwierdza w swojej dokumentacji technicznej, że jego klasyfikator nie jest stronniczy wobec autorów piszących po angielsku jako języku nienatywnym, choć to twierdzenie pochodzi od dostawcy, a nie z niezależnych testów. darmowy checker perplexity pokazuje tę samą podstawową miarę, którą którekolwiek z tych narzędzi oblicza na podstawie fragmentu tekstu, bez wcześniejszego wysyłania szkicu gdziekolwiek.

Dwa praktyczne uzupełnienia znajdują się w tej samej grupie: kiedy używać a, an i the, które jest pojedynczym najczęstszym źródłem tego wzorca, oraz jak brzmieć naturalnie w angielskim piśmiennictwie akademickim szerzej.

Badania nadal gromadzą się w tym samym kierunku po dwóch latach, w różnych zespołach, różnych detektorach i różnych projektach testów. Tym, co nie nadążyło, jest powszechnie przyjęta reakcja instytucjonalna, audytowanie detektora wobec zakresu autorów przed zaufaniem mu w odniesieniu do któregokolwiek z nich, a nie dopiero po tym, jak konkretny student został już oskarżony. Dopóki nie stanie się to rutyną, ciężar wykazania, że fałszywy alarm jest błędny, spada dokładnie na tych autorów, o których to badanie mówi, że najprawdopodobniej go otrzymają.