Dlaczego detektory AI są stronnicze wobec piszących po angielsku niebędących native speakerami

Detektory AI stronnicze wobec osób niebędących rodzimymi użytkownikami języka to nie jest subiektywna skarga. Recenzowane badanie Stanford z 2023 roku zmierzyło to bezpośrednio. Badacze przetestowali siedem szeroko używanych detektorów GPT na 91 autentycznych esejach TOEFL napisanych przez osoby niebędące rodzimymi użytkownikami języka angielskiego oraz na 88 esejach napisanych przez amerykańskich uczniów ósmej klasy, a następnie porównali wyniki obu grup.

Detektory niemal za każdym razem poprawnie odczytywały eseje z ósmej klasy. W przypadku esejów TOEFL, napisanych przez dorosłych, którzy wcześniej zdali już egzamin z biegłości językowej na poziomie studiów magisterskich, te same siedem narzędzi zwróciło średni odsetek fałszywie dodatnich wyników na poziomie 61.22 percent. Osiemdziesiąt dziewięć z dziewięćdziesięciu jeden esejów, niemal 98 percent, zostało oznaczonych jako wygenerowane przez AI przez co najmniej jedno z siedmiu narzędzi.

Przegląd TextPulse dotyczący szerszych dowodów na dokładność detektorów AI omawia to nagłówkowe ustalenie oraz pozwy sądowe, do których od tego czasu doprowadziło. To, co niemal wszędzie pomija się przy cytowaniu tego badania, to mechanizm, dlaczego proza osoby posługującej się angielskim na poziomie studiów magisterskich w pierwszej kolejności brzmi jak tekst maszynowy i co się zmienia, gdy przestaje tak brzmieć.

Detektory AI stronnicze wobec osób niebędących rodzimymi użytkownikami języka, mechanizm

Detektor nigdy nie odczytuje znaczenia. Odczytuje to, jak przewidywalne jest każde słowo, biorąc pod uwagę słowa, które pojawiły się wcześniej, i przyznaje niski wynik fragmentowi wtedy, gdy model mógł przewidzieć większość z niego z wyprzedzeniem. Różnorodność leksykalna, czyli to, jak szerokiego zasobu słownictwa używa autor zamiast powtarzać mniejszy zestaw bezpiecznych słów, oraz przewidywalność składniowa, czyli to, jak ściśle struktura zdań podąża za najczęstszym wzorcem w danym języku zamiast go różnicować, to dwie właściwości produkcji językowej, które obniżają ten wynik.

Różnica ma znaczenie, ponieważ oba zjawiska ujawniają się na stronie w odmienny sposób. Zróżnicowanie leksykalne dotyczy samych słów: autor, który w trzech różnych zdaniach sięga po „uzyskać”, „nabyć” i „zapewnić sobie”, sprawia wrażenie bardziej zróżnicowanego niż ktoś, kto trzy razy pisze „dostać”, nawet jeśli zdania są poza tym identyczne. Przewidywalność składniowa dotyczy struktury: podmiot, czasownik, dopełnienie, powtarzane raz po raz, zamiast zdania, które zaczyna się od zdania podrzędnego albo kończy nieoczekiwanym słowem. Autor piszący w drugim języku w warunkach egzaminacyjnych ma wszelkie powody, by wybierać bezpieczniejszą wersję obu tych elementów.

Pisanie w drugim języku konsekwentnie wykazuje mniejszy stopień obu tych cech, i nie jest to wada. Autor posługujący się dodatkowym językiem opiera się na słownictwie i wzorcach zdań, które z największym prawdopodobieństwem będą poprawne, ponieważ błędne zgadywanie kosztuje więcej, gdy język nie jest jeszcze w pełni zautomatyzowany. Artykuł ze Stanford, który udokumentował stronniczość detektora, przywołuje korpus badań z zakresu lingwistyki stosowanej dotyczących dokładnie tego wzorca, ustalonego na długo przed pojawieniem się detektorów AI: obniżone bogactwo leksykalne, obniżone zróżnicowanie leksykalne i prostsza struktura zdań są udokumentowanymi, mierzalnymi cechami pisania w drugim języku, a nie oznaką czegokolwiek innego.

Ta luka między pisaniem rodzimym i nierodzimym ujawnia się jako różnica w perplexity, czyli w tym samym pomiarze, który detektor wykorzystuje, aby zdecydować, czy dany fragment został wygenerowany przez maszynę. Niższe perplexity odczytuje się jako bardziej maszynowe, niezależnie od tego, kto je wytworzył, a pisanie w drugim języku znajduje się niżej na tej skali z powodów, które nie mają nic wspólnego z chatbotem. To, czy ta luka rzeczywiście napędza działanie detektorów, a nie jest jedynie zbiegiem okoliczności, stanowi pytanie, które można empirycznie sprawdzić. Zespół ze Stanford przetestował je bezpośrednio.

Co się stało, gdy te same eseje przepisano z bogatszym słownictwem

Badacze wzięli te same 91 esejów TOEFL, które wcześniej wywołały średni wskaźnik fałszywie dodatnich wyników na poziomie 61.22 percent, i poprosili ChatGPT o ich poprawienie za pomocą jednej instrukcji: "Enhance the word choices to sound more like that of a native speaker." Nie polecono zmieniać niczego w treści, argumentacji ani gramatyce. Po tej jednej edycji średni wskaźnik fałszywie dodatnich wyników w tych samych siedmiu detektorach spadł do 11.77 percent, czyli o niemal pięćdziesiąt punktów procentowych, a liczba esejów, które każdy detektor zgodnie oznaczył, spadła z osiemnastu do jednego.

Badacze następnie odwrócili eksperyment. Wzięli 88 esejów uczniów ósmej klasy napisanych przez native speakerów, które detektory początkowo oceniały poprawnie niemal za każdym razem, i poprosili ChatGPT o uproszczenie ich doboru słownictwa tak, jakby zostały napisane przez osobę niebędącą native speakerem. Średni wskaźnik fałszywie dodatnich wyników dla tych samych esejów napisanych przez native speakerów wzrósł z 5.19 percent do 56.65 percent. Autorstwo esejów się nie zmieniło. Zmieniło się tylko słownictwo, a detektory podążyły za słownictwem.

Perplexity zmieniało się zgodnie ze wskaźnikiem błędnej klasyfikacji w obu kierunkach, gwałtownie rosło, gdy eseje TOEFL były wzbogacane, i gwałtownie spadało, gdy eseje uczniów ósmej klasy były upraszczane. Autorzy wyciągają z tego jednoznaczny wniosek: to, na co detektory rzeczywiście reagowały, nigdy nie było autorstwo. Był to dobór słów, cecha, którą może nieść słownictwo każdego piszącego, niezależnie od tego, gdzie nauczył się angielskiego.

Jak spójne jest to uprzedzenie między różnymi detektorami

Siedem detektorów niewiele się ze sobą zgadzało, z wyjątkiem kierunku, w którym przebiegał błąd. Każdy z nich znacznie częściej oznaczał eseje TOEFL niż eseje uczniów ósmej klasy, lecz z bardzo różnymi marginesami.

Detektor	Wskaźnik fałszywie dodatnich wyników, eseje TOEFL	Wskaźnik fałszywie dodatnich wyników, eseje native speakerów
Originality.ai	76%	1%
Quil.org	75%	9%
Sapling	68%	5%
detektor OpenAI	58%	9%
Crossplag	52%	12%
GPTZero	52%	0%
ZeroGPT	48%	0%

Są to dane z 2023 roku, mierzone na narzędziach w ich ówczesnej postaci. Od tego czasu kilka z nich zmieniło się całkowicie: OpenAI zamknęło własny detektor w lipcu 2023 roku, cztery miesiące po tym teście, po stwierdzeniu, że poprawnie oznaczał on tylko 26 procent rzeczywistego tekstu napisanego przez AI, a jednocześnie błędnie klasyfikował 9 procent tekstu napisanego przez ludzi. To, co się nie zmieniło, to kierunek tej luki. Szerszy benchmark uprzedzeń, zbudowany specjalnie do testowania detektorów w kategoriach demograficznych i językowych, opublikowany w grudniu 2025 roku i przeprowadzony na czterech nowszych narzędziach open source, nadal wykazywał konsekwentnie niższy recall dla niedostatecznie reprezentowanych grup autorów.

Czy to uprzedzenie nadal pojawia się w nowszych detektorach?

Badanie Stanford jest już o kilka generacji AI starsze, a jego autorzy sami wskazali ograniczenie, małą próbę pilotażową oraz detektory zbudowane głównie na GPT-2, znacznie mniejszym i starszym modelu niż ten, który napędza dzisiejsze wykrywanie. To rodzi zasadne pytanie. Czy lepsza technologia zamknęła tę lukę?

Najnowszy dedykowany test mówi, że jeszcze nie. W badaniu z lutego 2026 roku przeprowadzonym na Sultan Qaboos University badacze przetestowali dwa obecne komercyjne detektory, Turnitin i Originality, na 192 tekstach łączących autentyczne pisanie studentów EFL sprzed ChatGPT, profesjonalne pisanie ludzkie, tekst generowany przez AI oraz hybrydowy tekst ludzko-AI. Wyniki wykazały ogólną dokładność na poziomie 69 procent i 61 procent dla tych dwóch narzędzi, przy czym dokładność w kategorii hybrydowej, czyli w rodzaju pisania, które w praktyce powstaje po etapie redakcji, spadła niemal do zera. To samo badanie ujawniło także drugi rodzaj stronniczości, działający równolegle ze stronniczością językową, dokładność w przypadku pisania naukowego była o 28 do 38 punktów procentowych niższa niż w przypadku pisania humanistycznego.

Żadne z tych ustaleń nie dotyczy pojedynczego wadliwego produktu. Dwie różne architektury detektorów, testowane w odstępie trzech lat na różnych korpusach przez różne zespoły badawcze, konsekwentnie dają ten sam wynik, pisanie ukształtowane przez konwencję gatunkową albo przez drugi język znajduje się bliżej tego, co narzędzia te nazywają wytworem maszyny, niż pisanie, które nie jest ani jednym, ani drugim. bezpłatne narzędzia TextPulse pozwalają autorowi sprawdzić ten sam profil statystyczny, zanim trafi on do detektora danej instytucji.

Niezależne dowody, że luka jest rzeczywista, a nie artefaktem testu

Pierwszym problemem z wynikami TOEFL jest to, że można by twierdzić, iż odnoszą się one wyłącznie do niewielkiego badania pilotażowego z 2023 roku. Ten zarzut został podjęty przez ten sam zespół badawczy w innym badaniu wykorzystującym dane, które nie mają nic wspólnego z detektorami. Przeanalizowali oni 1,574 prac przyjętych na ICLR 2023, dużą konferencję z zakresu uczenia maszynowego, ograniczając próbę do abstraktów zgłoszonych i zrecenzowanych przed pojawieniem się ChatGPT.

Autorzy z krajów, w których angielski nie jest językiem podstawowym, pisali abstrakty o istotnie niższym perplexity niż autorzy z krajów, w których angielski jest językiem ojczystym, a różnica utrzymywała się nawet po uwzględnieniu tego, jak wysoko każda praca została oceniona przez recenzentów. Ta próba nie mogła zostać ukształtowana przez nikogo, kto próbował brzmieć bardziej lub mniej jak chatbot. ChatGPT był trzy miesiące od premiery, gdy zamknięto okno zgłoszeń. Luka w perplexity między akademickim pisaniem rodzimych i nierodzimych użytkowników angielskiego nie jest czymś, co wymyśliły detektory. To coś, co odziedziczyły.

Statystyczna analiza wykrywania AI z 2026 roku, traktująca to jako problem testowania, przedstawia formalną wersję tego samego wniosku. Za każdym razem, gdy grupa autorów wytwarza język, który w ujęciu zbiorczym pokrywa się z typowym wynikiem AI, każdy detektor o rzeczywistej skuteczności w wykrywaniu tekstu pisanego przez AI musi dla tej właśnie grupy mieć wyższy wskaźnik fałszywie dodatnich wyników, co stanowi matematyczną właściwość testowania zróżnicowanej populacji, a nie wadę jakiegokolwiek pojedynczego narzędzia. Autorzy piszący po angielsku jako języku nierodzimym są najlepiej udokumentowanym przypadkiem dokładnie takiego pokrywania się.

Co to oznacza dla autorów piszących w drugim języku

Nic z tego nie jest argumentem za pisaniem mniej po swojemu. To powód, by wiedzieć, co jest rzeczywiście mierzone, zanim pojawi się wynik. Detektor odczytujący Państwa prozę jako przewidywalną wychwytuje rzeczywistą właściwość statystyczną pisania w drugim języku, a nie dowód na to, że użyli Państwo narzędzia, którego Państwo nie użyli.

Naukowcy ze Stanford, którzy przeprowadzili pierwotne badanie, zwracają uwagę na niewygodną implikację własnego wyniku: ta sama korekta słownictwa, która obniża ryzyko fałszywie dodatniego wyniku, jest zarazem takim rodzajem redakcji, jakiego autor może chcieć z powodów całkowicie odrębnych, jaśniejszego sformułowania, bardziej precyzyjnego słowa, niezależnie od jakiegokolwiek detektora. Strona TextPulse dla akademickich autorów ESL omawia, jak taki rodzaj redakcji wygląda w rzeczywistych zdaniach, niezależnie od wszystkiego, co wiąże się z wynikiem wykrywania.

Nowsze detektory zaczynają wyraźnie uwzględniać ten wzorzec. Pangram, jeden z nowszych komercyjnych uczestników rynku, stwierdza w swojej dokumentacji technicznej, że jego klasyfikator nie jest stronniczy wobec autorów piszących po angielsku jako języku nienatywnym, choć to twierdzenie pochodzi od dostawcy, a nie z niezależnych testów. bezpłatny sprawdzacz perplexity pokazuje tę samą podstawową miarę, którą każde z tych narzędzi oblicza na podstawie fragmentu tekstu, bez wcześniejszego wysyłania szkicu gdziekolwiek.

Dwa praktyczne uzupełnienia należą do tego samego zestawu: kiedy używać a, an i the, które jest pojedynczym najczęstszym źródłem tego wzorca, oraz bardziej ogólnie jak brzmieć naturalnie w angielskim piśmiennictwie akademickim.

Badania nadal gromadzą się w tym samym kierunku po dwóch latach, w różnych zespołach, różnych detektorach i różnych projektach testów. Tym, co nie nadążyło, jest powszechnie przyjęta odpowiedź instytucjonalna, audytowanie detektora wobec szerokiego zakresu autorów przed zaufaniem mu w odniesieniu do któregokolwiek z nich, zamiast po tym, jak konkretny student został już oskarżony. Dopóki nie stanie się to rutyną, ciężar wykazania, że fałszywy alarm jest błędny, spada dokładnie na tych autorów, o których to badanie mówi, że najprawdopodobniej go otrzymają.