Czy ZeroGPT jest dokładny?

Dokładność ZeroGPT, według obecnego twierdzenia samej firmy, jest wskaźnikiem „zbliżającym się do >98% w ocenach wewnętrznych”, a firma przyznaje, że liczba ta pochodzi z testów przeprowadzonych na samym sobie, a nie przez zewnętrzne laboratorium. Ten jeden kwalifikator, wewnętrzne, wystarcza w dużej mierze, aby czytelnik traktował jakikolwiek procent podawany przez darmowy detektor nie jako ustalony fakt.

ZeroGPT jest jednym z najczęściej używanych darmowych detektorów AI, głównie dlatego, że nic nie kosztuje i zwraca odpowiedź w ciągu kilku sekund. Ta sama luka między twierdzeniami dostawców a niezależnymi testami, która pojawia się ogólnie w przypadku detektorów AI pojawia się tutaj również. Poniżej przedstawiono, co firma obecnie deklaruje na temat własnej dokładności i metody, co ta metoda wydaje się rzeczywiście mierzyć oraz dlaczego takie narzędzie ma tendencję do błędów w określonych, przewidywalnych sytuacjach, gdy chodzi o rodzaj tekstów, które przesyłają czytelnicy akademiccy.

Czym jest dokładność ZeroGPT, według firmy?

Własne FAQ ZeroGPT stwierdza, że firma „dostarcza wiodącą w branży dokładność i jest stale ulepszana, aby utrzymać najlepszą w swojej klasie wydajność, zbliżając się do >98% w ocenach wewnętrznych”. Jest to twierdzenie dostawcy dotyczące własnego produktu, testowanego przez samą firmę, sformułowane z rzeczywistym zastrzeżeniem wpisanym w brzmienie: „zbliżając się do” jakiejś liczby nie jest tym samym co jej osiągnięcie i utrzymanie, a „oceny wewnętrzne” oznaczają, że żadna zewnętrzna strona nie opublikowała odpowiadającego jej wyniku. Na stronie nie podano, jak duży był ten wewnętrzny zbiór testowy, co zawierał ani kto spoza firmy ocenił metodologię.

Firma zaleca co najmniej 150 do 200 słów tekstu dla uzyskania stabilnego wyniku, a 500 do 1,000 słów lub więcej dodatkowo poprawia wiarygodność, i wprost stwierdza, że bardzo krótkie lub silnie redagowane fragmenty "carry fewer signals." To jedno ujawnienie ma większe znaczenie niż podany w nagłówku procent. Jest to własne przyznanie dostawcy, że wynik jest tak wiarygodny, jak długi i niezmieniony jest tekst wejściowy, a ten warunek nie zawsze jest spełniony w przypadku rzeczywistego zgłoszenia.

Jakiej metody ZeroGPT faktycznie używa?

ZeroGPT nazywa swój podstawowy system DeepAnalyse, opisany na własnej stronie jako "multi-stage methodology designed to optimize accuracy while minimizing false positives and negatives", która czyta tekst "from the macro level to the micro one." Jego FAQ opisuje pod tym brandingiem coś bardziej konkretnego: analizę "token patterns, burstiness, entropy, and ensemble classifier features trained on mixed datasets."

Burstiness i entropy nie są unikalne dla ZeroGPT. Są to te same właściwości statystyczne, czyli to, jak bardzo zmienia się długość i rytm zdań oraz jak przewidywalne jest każde następne słowo, które własne objaśnienie TextPulse dotyczące how AI detectors work przedstawia jako ogólny mechanizm stojący za całą tą kategorią narzędzi. free perplexity checker pokazuje bezpośrednio tę samą wartość bazową, bez wymagania od autora, aby najpierw ufał procentowi podanemu przez pojedynczego dostawcę.

Dlaczego pisanie akademickie uruchamia te detektory?

FAQ ZeroGPT ujmuje to następująco: "highly polished, formulaic, or low-entropy writing can resemble AI." Proza akademicka jest projektowana właśnie jako highly polished, formulaic, low-entropy writing. Sekcja metod, przegląd literatury i formalny list motywacyjny nagradzają konwencjonalne sformułowanie bardziej niż pomysłowe, ponieważ to właśnie konwencja sprawia, że dokument jest użyteczny dla czytelnika, a ta konwencja jest dokładnie tym wzorcem niskiej entropy, który własne ujawnienie dostawcy wskazuje jako ryzyko.

Niezależne testy recenzowane przez ekspertów pokazują, dlaczego ten tryb błędu uderza mocniej w niektórych autorów niż w innych. Badanie Stanford z 2023 roku przeprowadziło siedem szeroko używanych detektorów, w tym ZeroGPT, na 91 prawdziwych esejach TOEFL napisanych przez osoby, dla których angielski nie jest językiem ojczystym oraz 88 esejach napisanych przez uczniów ósmej klasy w USA. ZeroGPT oznaczył 48 procent esejów TOEFL jako wygenerowane przez AI, wobec 0 procent esejów ósmoklasistów, w tym samym kierunku błędu, jaki wykazał każdy detektor w tym badaniu, tylko w innej skali.

W tej luce nie ma nic wyjątkowego dla ZeroGPT i nie jest to żadna nowa informacja. To ten sam wzorzec uprzedzenia wobec autorów niebędących native speakerami, udokumentowany w całej branży detektorów, omówiony szerzej na własnej stronie TextPulse o tym, dlaczego detektory AI są stronnicze wobec osób, dla których angielski nie jest językiem ojczystym. To, co ta luka pokazuje konkretnie o darmowym narzędziu konsumenckim, to fakt, że własne ujawnione przez dostawcę ograniczenie, niskoentropijne pisanie odczytywane jako wytworzone przez maszynę, nie jest hipotetyczne. Test recenzowany przez ekspertów wykazał, że dzieje się to w tym dokładnie produkcie na lata przed tym, jak obecne FAQ firmy nazwało ten mechanizm własnymi słowami.

Czy wynik darmowego detektora może dowieść czegokolwiek o jednym dokumencie?

Nie samodzielnie. Procentowy wynik ZeroGPT nie jest dowodem czegokolwiek dotyczącego konkretnego dokumentu, ani w jedną, ani w drugą stronę. To tylko szacunek jednego modelu, oparty na wewnętrznych testach, których firma nie opublikowała w formie możliwej do sprawdzenia przez kogokolwiek spoza firmy, zastosowany do tekstu, którego długość, historia edycji i gatunek zmieniają odczyt w sposób, jaki własne FAQ dostawcy już uznaje. Traktowanie pojedynczego darmowego wyniku jako rozstrzygnięcia wymaga od tego wyniku więcej, niż twierdzi firma, która go wydaje.

Do czego wynik jest rzeczywiście użyteczny, to zakres węższy i bardziej przyziemny: szybki, bezpłatny odczyt tego, gdzie obecnie znajduje się szkic według tego samego rodzaju pomiaru statystycznego, który wykonuje także płatne narzędzie instytucjonalne, zanim ktokolwiek inny go zobaczy. bezpłatne narzędzia TextPulse obejmują ten sam obszar bezpośrednio, bez zmuszania autora do zgadywania, któremu z kilku bezpłatnych detektorów zaufać najpierw.

Wskaźniki trafności ukrywają, na kogo spadają błędy i co je wywołuje. Wiedza o tym, kiedy używać a, an i the, usuwa jeden z wzorców, który uruchamia oznaczenie, a co właściwie oznacza fałszywie dodatni wynik, jest omówione osobno.

Nic z tego nie sprawia, że liczba ZeroGPT jest bez znaczenia, i nic z tego nie sprawia, że sama liczba jest wystarczająca. Wynik jest wstępnym oszacowaniem, wytworzonym przez metodę, którą firma opisuje jedynie ogólnie i nie udostępniła do zewnętrznych testów, dla tekstu, którego sam gatunek może zmienić rezultat, zanim ktokolwiek zaangażowany zrobi cokolwiek niewłaściwego. Dwa słowa niosące najwięcej informacji na tej stronie FAQ to nie procent. To zastrzeżenia stojące tuż obok niego: wewnętrzne i skłaniające ku. Bezpłatny wynik jest punktem wyjścia do rozmowy o szkicu, a nie jej końcowym argumentem.

Co wykazały nasze własne badania

W badaniu zgodności detektorów TextPulse Research dziewięć komercyjnych detektorów AI oceniło te same 90 tekstów akademickich. Jednym z nich był hybrydowy tekst o długości 455 słów: napisany przez człowieka wstęp i zakończenie wokół środkowej części 168 słów wygenerowanej przez AI. ZeroGPT ocenił ten tekst na 7.6% AI, podczas gdy werdykty pozostałych narzędzi dla tych samych słów wahały się od 0% do 95.7% AI. Pełny artykuł, korpus i macierz wyników wszystkich narzędzi są otwarcie dostępne na TextPulse Research.