Badanie porównawcze humanizerów AI: co stało się z tymi samymi tekstami akademickimi

W naszym badaniu porównawczym humanizerów AI każdy humanizer przekształcił te same 48 tekstów akademickich w kierunku stylu pisania człowieka, a narzędzia najbardziej różniły się tym, co zachowywały. Niektóre zachowywały znaczenie, cytowania i liczby blisko źródła. Inne dodawały wymyślone liczby i nazwiska albo nowe błędy gramatyczne, a te wyniki były często tymi, które detektor oznaczał jako ludzkie.

TextPulse Research przeprowadził badanie porównawcze humanizerów AI w sierpniu 2026 i opublikował je jako working paper 29 sierpnia. TextPulse jest jednym z narzędzi w tym badaniu, więc każde narzędzie otrzymało te same dane wejściowe, a każdy pomiar jest publicznym skryptem. Pełny working paper zawiera wszystkie tabele, ryciny i skrypty, a wszystkie 432 przepisane teksty są publiczne.

Co testowało badanie porównawcze humanizerów AI

Badanie podało każdemu humanizerowi te same 48 tekstów. Każdy z nich był sekcją Wyniki i dyskusja wymyślonego badania empirycznego, napisaną przez model AI i liczącą około 301 słów. Cztery rodziny modeli napisały po 12 tekstów: OpenAI, Google, DeepSeek i Anthropic. Teksty obejmowały cztery dyscypliny i trzy style cytowania, więc każde narzędzie napotkało liczby, nazwiska autorów i znaczniki odsyłające, które musiało zachować.

Część projektu	Co wykorzystało badanie
Teksty źródłowe	48 sekcji Wyniki i dyskusja napisanych przez AI, każda o długości od 264 do 344 słów
Kto je napisał	Po 12 tekstów od modeli OpenAI, Google, DeepSeek i Anthropic
Dyscypliny	Medycyna i zdrowie, nauki fizyczne i obliczeniowe, nauki społeczne, nauki humanistyczne
Style cytowania	APA autor-rok, nawiasy numeryczne, brak cytowań
Sprawdzone fakty w tekstach	404 terminy techniczne, 887 liczb, 124 cytowania
Jak działało każde narzędzie	Wklejone raz do strony internetowej przy ustawieniu domyślnym, wynik zachowany w postaci zwróconej
Daty	26 do 28 sierpnia 2026
Detektory	Turnitin, jeden dokument na narzędzie, oraz GPTZero, każdy tekst osobno

Zadaniem humanizera jest przepisywanie wyników AI, więc badanie rozpoczęto od wyników AI z zweryfikowaną listą faktów. Przed jakimkolwiek przepisywaniem każdy model wypisał terminy, liczby i cytowania, których użył. Każdy wymieniony element porównano z tekstem, a każdy element, którego w nim brakowało, usunięto. To pozostawiło stałą listę dla każdego tekstu, dzięki czemu badanie mogło dokładnie policzyć, co każdy humanizer zachował, zmienił lub wymyślił.

Każdy tekst został wprowadzony do strony internetowej każdego narzędzia raz, przy domyślnym ustawieniu narzędzia, a wynik zapisano dokładnie tak, jak został zwrócony. Nikt nie edytował wyniku. Niektóre narzędzia przetworzyły mniej niż 48 tekstów, ponieważ darmowe plany ograniczają liczbę tekstów, które narzędzie przyjmie. Zestaw podstawowy 24 tekstów był taki sam dla każdego narzędzia, w tej samej kolejności. TextPulse przetworzył wszystkie 48.

Jak badanie mierzyło zhumanizowany tekst

Wynik detektora mówi, jak tekst wyglądał dla jednego detektora jednego dnia. Nie mówi nic o tym, czy przeredagowana wersja nadal przedstawia te same wyniki. Badanie najpierw oceniało każdy wynik na samym tekście, a dopiero potem na detektorach. Dla studentów lub badaczy ważne jest, aby mieć pracę, która nadal mówi to, co mówią dane, w prozie brzmiącej tak, jakby napisał ją człowiek.

Miara	Co sprawdza	Dlaczego ma to znaczenie w pracy naukowej
Znaczenie	Jak blisko przeredagowany tekst pozostaje względem źródła, jako wynik podobieństwa od 0 do 1	Niższy wynik oznacza, że akapit mówi teraz coś innego
Zachowane cytowania	Udział cytowań w tekście, które nadal występują z tym samym autorem i rokiem	Zmiana roku zrywa zgodność z listą bibliograficzną
Zachowane liczby	Udział sprawdzonych liczb, które nadal znajdują się w tekście	Utrata liczebności próby lub wartości p zmienia wynik
Wymyślone elementy	Liczby i nazwy w wyniku, których nie było w źródle	Wymyślona wartość jest fałszywym stwierdzeniem o badaniu
Dodane błędy gramatyczne	Nowe błędy na 1,000 słów, liczone za pomocą LanguageTool	Błędy obniżają ocenę i zaufanie recenzentów
Poziom czytania	Zmiana poziomu Flesch-Kincaid	Tekst AI ma wyższy poziom niż opublikowana proza ludzka
Pozycja stylu	Pozycja tekstu między typowym pisaniem ludzkim a typowym pisaniem AI	Detektory stylometryczne reagują na te cechy
Długość	Długość wyniku względem źródła, 0.70 do 1.30 razy liczy się jako zachowana	Narzędzie, które skraca tekst o połowę, usunęło treść

Pozycja stylu pochodzi ze skali, którą TextPulse opracował na podstawie 47 cech stylu z 121,092 tekstów akademickich (opisanych w naszym artykule o klasyfikacji stylometrycznej). Typowy ludzki tekst akademicki ma wartość 0, a typowy tekst AI ma wartość 100. Środkową połowę tekstów ludzkich (-36 do 33) nazywamy zakresem ludzkim.

Słownictwo oceniano względem listy 1,057 słów z naszego artykułu o słownictwie AI. Spośród nich 581 to słowa, których modele AI używają częściej niż ludzie, a 476 skłania się w drugą stronę. Badanie zliczało, ile słów skłaniających się ku AI usunęło każde narzędzie na 1,000 słów.

Co każde narzędzie humanizujące zrobiło z tekstem

Każde narzędzie w badaniu przesuwało swoje wyniki w stronę ludzkiego końca skali stylu. Nieprzetworzone teksty AI osiągały średnio 138, czyli powyżej typowego tekstu AI na poziomie 100. Po przepisaniu niektóre narzędzia osiągnęły zakres ludzki, a inne zatrzymały się mniej więcej w połowie. Każde narzędzie usuwało też słownictwo skłaniające się ku AI i obniżało poziom czytania, więc kierunek zmiany był taki sam w całej dziedzinie.

Dwa rodzaje cech najsilniej przesuwają tekst wzdłuż skali. Pierwszą parę stanowią średnia długość słowa i odsetek długich słów. Przepisanie z "help" na "facilitate" sprawi, że tekst będzie bardziej podobny do AI, ponieważ zwiększa średnią długość słowa i zwiększa odsetek długich słów. Drugą jest zróżnicowana długość zdań, która przesuwa tekst w stronę ludzką. Akapit, w którym wszystkie zdania mają od 22 do 26 słów, jest jednorodny, natomiast akapit łączący zdanie 9-słowne ze zdaniem 31-słownym jest zróżnicowany.

Chodzi o to, aby osiągnąć niższy poziom czytania. Tekst akademicki napisany przez AI ma wyższy wynik Flesch-Kincaid niż opublikowana ludzka proza akademicka. Zatem, jeśli ten wynik spada, sprawia to, że pisanie bardziej przypomina prosty styl, w którym piszą badacze. Na to reagują detektory stylometryczne. Są to również zmiany, które czynią szkic łatwiejszym do czytania. Te dwa cele są zgodne, o ile treść pozostaje nienaruszona.

Nasz wpis o tym, jak humanizers zmieniają zdanie pokazuje te poprawki zdanie po zdaniu. Badanie dodaje pomiar, jak daleko każda zmiana przesunęła tekst i jaki był jej koszt dla znaczenia oraz faktów.

Gdzie narzędzia się różniły: znaczenie, cytowania i liczby

Narzędzia różniły się wskaźnikami zachowania. Na przykład w całym badaniu zachowano od 29 do 100 procent cytowań. Na każdy wynik pojawiało się od 0.06 do 4.44 wymyślonych elementów. Na 1,000 słów pojawiało się od 0.65 do 4.91 nowych błędów gramatycznych. Wymyślone elementy obejmowały liczebności próby, procenty, granice ufności, nazwiska autorów i instytucje, których źródło nigdy nie wymieniało.

Nazwy i jednostki znikały w bardziej subtelny sposób. Gdy narzędzie parafrazowało statystykę, często pomijało jednostkę, więc "Cohen's d" stawało się miarą wielkości efektu, a "Celsius" stawało się stopniami. Nazwiska autorów znikały razem z cytowaniami. Nazwy gatunków, epok i instrumentów były zastępowane opisem. Czytelnik, który chce sprawdzić wynik, potrzebuje tych nazw, więc każda z tych strat ma znaczenie.

Głębokość przepisywania i wierność działają w przeciwnych kierunkach. Narzędzie, które zmienia jedną trzecią słów, łatwiej zachowuje znaczenie. Narzędzie, które zmienia większość z nich, ma więcej okazji, by coś utracić. Odsetek zmienionych słów wynosił od 35 do 68%. Wynikiem, którego chce badacz, jest głębokie przepisanie, które nadal zachowuje znaczenie. To połączenie było rzadkie.

Badanie szukało także ukrytych znaków: niewidocznych znaków, niestandardowych spacji oraz liter podobnych z alfabetów cyrylickiego lub greckiego. Niektóre humanizery dodają je, aby zmienić wynik detektora. Żadne narzędzie w tym badaniu nie dodało żadnego z nich, więc żaden wynik nie nie przeszedł z tego powodu bramki jakości.

Dlaczego sam wynik detektora jest słabym kryterium oceny humanizera

Sam wynik detektora jest niepełnym kryterium oceny humanizera. W badaniu porównawczym humanizerów AI wyniki, które GPTZero najczęściej oznaczał jako ludzkie, pochodziły z narzędzi, które wymyślały więcej liczb i nazw, usuwały więcej cytowań albo dodawały więcej błędów gramatycznych. Najłatwiejszym sposobem zmiany szacunku detektora jest zmiana tego, co tekst mówi. Taka parafraza nie nadaje się do pracy, której miała pomóc.

Aby jednocześnie mierzyć oba aspekty, badanie ustaliło bramkę jakości. Aby ją przekroczyć, wynik musiał mieć wynik znaczenia co najmniej 0.95 i co najmniej 90% swoich cytowań. Musiał też nie zawierać wymyślonych liczb ani nazw, ukrytych znaków oraz mieścić się w tolerancji długości. Etykieta GPTZero jako ludzkie liczyła się więc tylko dla wyników, które przekroczyły bramkę. Bramka była taka sama dla każdego narzędzia.

Każde wyjście narzędzia trafiło do jednego dokumentu, po jednym tekście na stronę. W badaniu użyto jednej wartości procentowej AI Turnitin dla dokumentu. Turnitin używa gwiazdki zamiast liczby dla wartości poniżej 20 procent. Wyniki detektorów są szacunkami pochodzącymi z jednej wersji detektora, obowiązującej w dniach badania. O tym, jak odczytywać swój wynik AI w Turnitin, napisaliśmy w naszym przewodniku co oznacza wynik AI Turnitin.

Jak TextPulse wypadł w porównaniu humanizatorów

TextPulse zajął pierwsze miejsce w indeksie złożonym badania, który nadaje równą wagę głębokości przeredagowania, zachowaniu znaczenia, pozycji stylu, gramatyce i integralności treści. Wyniki TextPulse wyniosły 0.811 dla tych pięciu miar oraz 0.843 po dodaniu miary detektora bramkującego. Wypadł dobrze, ponieważ nie miał żadnych słabych miar. Przeredagował ponad połowę każdego tekstu i zachował fakty, od których zależy artykuł naukowy.

Miara	Wynik TextPulse
Zmienione słowa	52%
Zachowane znaczenie (podobieństwo do źródła)	0.971, około 97 %
Zachowane cytowania	99%
Zachowane liczby	87%
Zachowane byty nazwane	95%
Dodane błędy gramatyczne	0.65 na 1,000 słów, najmniej w badaniu
Wymyślone elementy	0.48 na wynik; wymyślona nazwa w jednym na pięćdziesiąt wyników
Poziom czytania	3.6 klasy niżej, największy spadek
Usunięte słowa o zabarwieniu AI	39 na 1,000 słów, najwięcej w badaniu
Pozycja stylu	29, w zakresie ludzkim
Wyjścia mieszczące się w tolerancji długości	47 of 48
Wyjścia, które przeszły bramkę jakości	67%
Wynik AI Turnitin, jeden dokument ze wszystkich wyjść	24 %, najniższy w badaniu (ex aequo)
Etykieta human od GPTZero dla wyjść, które przeszły bramkę	10.4 % (5 z 48), najwyższy w badaniu

Dwa wyniki mają największe znaczenie dla zastosowań akademickich. Wśród narzędzi, które zmieniły co najmniej połowę słów, TextPulse najlepiej zachował znaczenie. Wśród narzędzi z wynikiem znaczenia równym 0.97 lub wyższym zmienił najwięcej słów. Żadne inne narzędzie w badaniu nie należało do obu grup. Humanizer do pisania akademickiego potrzebuje właśnie takiego połączenia, ponieważ lekka przeróbka pozostawia styl AI na miejscu, a głęboka przeróbka, która usuwa fakty, zmienia wyniki.

GPTZero oznaczył 9 z 48 wyników TextPulse jako ludzkie, a 5 z nich przeszło także bramkę jakości, co stanowi najwyższy wynik po przejściu bramki w badaniu. Dokument Turnitin dla wyników TextPulse uzyskał 24 procent AI, co daje wynik ex aequo najniższy. Pozostałe dokumenty uzyskały od 28 do 74 procent. Wyniki detektorów są szacunkami i z tego powodu badanie podaje je obok miar tekstowych.

Czego badanie nie może powiedzieć

Badanie porównawcze humanizerów AI podaje własne ograniczenia. Teksty zostały napisane przez modele AI na podstawie stałego polecenia, a rzeczywiste szkice są dłuższe i mniej jednorodne. Każde narzędzie uruchomiono raz, przy ustawieniu domyślnym, między 26 a 28 August 2026. Dostawcy aktualizują swoje narzędzia, więc wyniki opisują te daty i należy je czytać jako migawkę.

Różne narzędzia mają różną liczbę tekstów, ponieważ są ograniczone do określonej liczby darmowych tekstów, które narzędzie przetworzy. Skutkuje to także szerszymi przedziałami ufności dla narzędzi z mniejszą liczbą tekstów. Turnitin generuje jeden wynik na dokument, a zatem nie ma rozkładu wyników dla poszczególnych tekstów. GPTZero to jeden detektor, jedna wersja modelu (2026-08-09-base).

TextPulse przygotował badanie i jest jednym z narzędzi w nim uwzględnionych. Każdemu narzędziu podano te same dane wejściowe. Zgodnie z protokołem wszystkie miary są publicznie dostępne jako skrypty, a wszystkie surowe wyniki są udostępnione. Oznacza to, że każdy może ponownie wykonać obliczenia albo nadać im inne wagi. Teksty źródłowe, wszystkie 432 wyniki, odpowiedzi detektorów i skrypty są publiczne.

Jak wykorzystać ustalenia we własnym szkicu

Ustalenia przekładają się na krótki test, który można wykonać po użyciu dowolnego humanizera, także naszego. Porównaj wynik ze swoim szkicem pod kątem rzeczy, które badanie liczyło. W przypadku pojedynczej sekcji zajmuje to kilka minut.

1. Sprawdź każdą liczbę w odniesieniu do swojego szkicu: liczebności próby, procenty, wartości p i przedziały ufności.
2. Sprawdź każdy cytat w tekście pod kątem tego samego autora i roku, a następnie dopasuj go do listy piśmiennictwa.
3. Wyszukaj nazwy, które uległy zmianie: narzędzia, gatunki, zbiory danych, jednostki i nazwiska autorów.
4. Przeczytaj tekst pod kątem twierdzeń, które stały się mocniejsze, na przykład "may indicate" przepisane jako "shows".
5. Porównaj długość. Wynik znacznie krótszy niż tekst źródłowy prawdopodobnie pominął treść.
6. Przeczytaj tekst na głos, aby wychwycić błędy gramatyczne dodane przez przeredagowanie.

Długość jest najszybszym z tych sprawdzeń. W badaniu wynik mieszczący się między 0.70 a 1.30 razy długość tekstu źródłowego był uznawany za zachowany. TextPulse zachował 47 z 48 wyników w tym przedziale, przy średniej wynoszącej 1.14 razy długość tekstu źródłowego, więc jego wyniki były nieco dłuższe niż szkice.

Cytaty najdłużej sprawdza się ręcznie. W badaniu TextPulse zachował 99 procent z nich, a jego zmiany dotyczyły sposobu prezentacji, na przykład cytat w nawiasie został przekształcony w cytat narracyjny. Nasz wpis o AI humanizer, który zachowuje cytaty wyjaśnia, na co zwracać uwagę we własnych znacznikach odniesień.

Darmowy checker burstiness mierzy, jak bardzo różnią się długości zdań w Twoim szkicu. Zróżnicowana długość zdań jest jedną z cech, które skala w badaniu waży na korzyść pisania przez człowieka. Aby zobaczyć uporządkowany przewodnik z cenami, zajrzyj do naszego przewodnika po najlepszym AI humanizer do pisania akademickiego. Gdy będziesz gotowy do przeredagowania, TextPulse AI humanizer został zaprojektowany tak, aby zachować Twoje liczby, nazwy i cytaty, oraz podaje szacowany Human Score dla wyniku.