Este ZeroGPT precis?

Precizia ZeroGPT, conform afirmației actuale a companiei, este o rată „care se apropie de >98% în evaluări interne”, o cifră despre care compania recunoaște că provine din teste pe care le-a efectuat asupra propriului sistem, nu dintr-un laborator extern. Această singură precizare, intern, este în mare parte tot ce are nevoie un cititor înainte de a trata procentul oricărui detector gratuit ca pe un fapt stabilit.

ZeroGPT este unul dintre cei mai utilizați detectoare AI gratuite, în mare parte pentru că nu costă nimic și oferă un răspuns în câteva secunde. Aceeași diferență dintre afirmațiile furnizorilor și testarea independentă, care apare în general la detectoarele AI apare și aici. Ceea ce urmează este ceea ce compania afirmă în prezent despre propria precizie și metodă, ceea ce pare să măsoare de fapt acea metodă și de ce un instrument de acest tip tinde să dea erori în moduri specifice, previzibile, asupra tipului de scriere pe care îl trimit cititorii academici.

Ce este precizia ZeroGPT, potrivit companiei?

Propriul FAQ al ZeroGPT afirmă că firma „oferă o precizie de vârf în industrie și este îmbunătățită continuu pentru a menține o performanță de cea mai bună clasă, apropiindu-se de >98% în evaluări interne”. Aceasta este o afirmație a furnizorului despre propriul produs, testat de companie însăși, formulată cu o rezervă reală integrată în enunț: „apropiindu-se de” o cifră nu este același lucru cu a o atinge și a o menține, iar „evaluări interne” înseamnă că nicio parte externă nu a publicat o cifră corespunzătoare. Nimic de pe pagină nu precizează cât de mare a fost acel set intern de testare, ce a conținut sau cine din afara companiei a verificat metodologia.

Compania recomandă cel puțin 150 până la 200 de cuvinte de text pentru un rezultat stabil, iar 500 până la 1,000 de cuvinte sau mai mult îmbunătățesc și mai mult fiabilitatea, și afirmă direct că fragmentele foarte scurte sau puternic editate „transportă mai puține semnale.” Această singură dezvăluire contează mai mult decât procentul din titlu. Este recunoașterea chiar a furnizorului că scorul este atât de demn de încredere pe cât este de lung și neatins inputul, o condiție pe care o trimitere reală nu o îndeplinește întotdeauna.

Ce metodă folosește de fapt ZeroGPT?

ZeroGPT numește sistemul său de bază DeepAnalyse, descris pe propriul site ca o „metodologie în mai multe etape, concepută pentru a optimiza acuratețea, minimizând în același timp falsurile pozitive și negative”, care citește un text „de la nivelul macro la cel micro.” FAQ-ul său descrie dedesubtul brandului ceva mai specific: o analiză a „tiparelor de tokeni, burstiness, entropy și a caracteristicilor unui clasificator de tip ensemble, antrenat pe seturi de date mixte.”

Burstiness și entropy nu sunt unice pentru ZeroGPT. Ele sunt aceleași proprietăți statistice, cât de mult variază lungimea și ritmul propozițiilor și cât de previzibil este fiecare cuvânt următor, pe care propriul explicator al TextPulse despre cum funcționează detectoarele AI le prezintă ca mecanism general din spatele întregii categorii de instrumente. Un verificator gratuit de perplexity arată direct aceeași valoare subiacentă, fără a cere mai întâi unui autor să aibă încredere în procentul oricărui singur furnizor.

De ce scrierea academică declanșează aceste detectoare?

FAQ-ul ZeroGPT o formulează astfel: „scrierea foarte finisată, formulică sau cu entropy scăzută poate semăna cu AI.” Proza academică este concepută pentru o scriere foarte finisată, formulică, cu entropy scăzută. O secțiune de metodologie, o trecere în revistă a literaturii și o scrisoare formală de intenție recompensează toate expresia convențională în locul celei inventive, pentru că tocmai convenția este ceea ce face documentul utilizabil pentru cititorul său în primul rând, iar această convenție este exact tiparul cu entropy scăzută pe care propria dezvăluire a furnizorului îl numește drept risc.

Testarea independentă, evaluată de colegi, arată de ce acest mod de eșec îi afectează mai puternic pe unii autori decât pe alții. Un studiu Stanford din 2023 a rulat șapte detectoare utilizate pe scară largă, printre care și ZeroGPT, pe 91 de eseuri TOEFL reale scrise de vorbitori de engleză non-nativi și pe 88 de eseuri scrise de elevi americani din clasa a opta. ZeroGPT a marcat 48 la sută dintre eseurile TOEFL ca fiind generate de AI, față de 0 la sută dintre eseurile din clasa a opta, aceeași direcție a erorii pe care a arătat-o fiecare detector din acel studiu, doar la o amploare diferită.

Nimic din acest decalaj nu este unic pentru ZeroGPT și nimic din el nu este o informație nouă. Este același tipar de părtinire față de autorii non-nativi documentat în întregul sector al detectoarelor, tratat mai pe larg pe pagina TextPulse despre de ce detectoarele AI sunt părtinitoare împotriva vorbitorilor non-nativi. Ceea ce arată în mod specific acest decalaj despre un instrument gratuit pentru consumatori este că limitarea declarată chiar de furnizor, scrierea cu entropie redusă este citită ca fiind produsă de mașină, nu este ipotetică. Un test evaluat de colegi a surprins acest lucru întâmplându-se pe acest produs exact cu ani înainte ca actualul FAQ al companiei să numească mecanismul în propriile sale cuvinte.

Poate un scor al unui detector gratuit să dovedească ceva despre un singur document?

Nu de unul singur. Un procent ZeroGPT nu este dovada a nimic despre un document specific, în niciuna dintre direcții. Este estimarea unui singur model, construită pe testare internă pe care compania nu a publicat-o într-o formă pe care cineva din afara companiei să o poată verifica, aplicată unei scrieri a cărei lungime, istoric de editare și gen textual se modifică toate în moduri care influențează lectura, așa cum recunoaște deja propriul FAQ al furnizorului. A trata un singur scor gratuit ca pe un verdict îi cere acelui scor mai mult decât pretinde compania care îl emite.

Pentru ce este cu adevărat util un scor este mai restrâns și mai banal: o evaluare rapidă, fără costuri, a locului în care se află în prezent un draft pe același tip de măsurare statistică pe care îl rulează și un instrument instituțional plătit, înainte ca altcineva să îl vadă. Instrumentele gratuite ale TextPulse acoperă direct același teren, fără a cere unui autor să ghicească mai întâi în care dintre scorurile mai multor detectoare gratuite să aibă încredere.

Valorile de acuratețe ascund asupra cui cad erorile și ce le declanșează. A ști când să folosești a, an și the elimină unul dintre tiparele care atrag un semnal, iar ce înseamnă de fapt un fals pozitiv este prezentat separat.

Nimic din toate acestea nu face ca numărul ZeroGPT să fie lipsit de sens, și nimic din toate acestea nu face ca numărul să fie suficient de unul singur. Un scor este o estimare inițială, produsă printr-o metodă pe care compania o descrie doar în linii mari și pe care nu a deschis-o testării externe, aplicată unui text al cărui gen, singur, poate modifica rezultatul înainte ca oricine implicat să fi făcut ceva greșit. Cele două cuvinte care poartă cea mai mare parte a informației pe acea pagină FAQ nu sunt procentul. Sunt rezervele plasate chiar lângă el: intern și orientat spre. Un scor gratuit este un punct de plecare pentru o discuție despre un draft, nu o concluzie finală într-una.

Ce a arătat propria noastră cercetare

În studiul de acord între detectoare realizat de TextPulse Research, nouă detectoare comerciale de AI au evaluat aceleași 90 de texte academice. Unul era un text hibrid de 455 de cuvinte: un început și un final scrise de om în jurul unei părți centrale de 168 de cuvinte generate de AI. ZeroGPT a notat acest text cu 7.6% AI, în timp ce verdictele celorlalte instrumente pentru aceleași cuvinte au variat de la 0% la 95.7% AI. Lucrarea completă, corpusul și matricea scorurilor pe instrument sunt disponibile liber la TextPulse Research.