ZeroGPT è accurato?

La precisione di ZeroGPT, secondo l’attuale affermazione della stessa azienda, è un tasso "in avvicinamento a >98% nelle valutazioni interne", una cifra che l’azienda riconosce derivare da test eseguiti su se stessa e non da un laboratorio esterno. Quell’unica qualificazione, interna, è in gran parte ciò che un lettore deve sapere prima di considerare il percentuale di qualsiasi rilevatore gratuito come un fatto consolidato.

ZeroGPT è uno dei rilevatori AI gratuiti più usati, in larga misura perché non costa nulla e restituisce una risposta in pochi secondi. Lo stesso divario tra le affermazioni del fornitore e i test indipendenti che emerge in generale per i rilevatori AI emerge anche qui. Ciò che segue è quanto l’azienda dichiara attualmente sulla propria precisione e sul proprio metodo, ciò che tale metodo sembra effettivamente misurare, e perché uno strumento di questo tipo tende a sbagliare in modi specifici e prevedibili sul tipo di scrittura che i lettori accademici presentano.

Che cos’è la precisione di ZeroGPT, secondo l’azienda?

La FAQ di ZeroGPT afferma che l’azienda "fornisce una precisione leader nel settore ed è continuamente migliorata per mantenere prestazioni di prim’ordine, in avvicinamento a >98% nelle valutazioni interne". Si tratta di un’affermazione del fornitore sul proprio prodotto, testato dalla stessa azienda, formulata con un reale margine di cautela incorporato nel testo: "in avvicinamento a" un numero non è la stessa affermazione che raggiungerlo e mantenerlo, e "valutazioni interne" significa che nessuna parte esterna ha pubblicato una cifra corrispondente. Nulla nella pagina indica quanto fosse ampio quel set di test interno, che cosa contenesse, o chi, al di fuori dell’azienda, abbia esaminato la metodologia.

L'azienda raccomanda almeno 150 to 200 parole di testo per un risultato stabile, con 500 to 1,000 parole o più che migliorano ulteriormente l'affidabilità, e afferma direttamente che frammenti molto brevi o pesantemente modificati "carry fewer signals." Questa singola informazione è più importante della percentuale riportata nel titolo. È il riconoscimento, da parte del fornitore, che il punteggio è affidabile solo nella misura in cui l'input è lungo e non alterato, una condizione che una vera consegna non soddisfa sempre.

Quale metodo sta effettivamente usando ZeroGPT?

ZeroGPT chiama il proprio sistema sottostante DeepAnalyse, descritto sul suo sito come una "multi-stage methodology designed to optimize accuracy while minimizing false positives and negatives" che legge un testo "from the macro level to the micro one." Le sue FAQ descrivono sotto il marchio qualcosa di più specifico: un'analisi di "token patterns, burstiness, entropy, and ensemble classifier features trained on mixed datasets."

Burstiness ed entropy non sono uniche a ZeroGPT. Sono le stesse proprietà statistiche, quanto variano la lunghezza e il ritmo delle frasi, e quanto è prevedibile ogni parola successiva, che la spiegazione di TextPulse su how AI detectors work tratta come meccanismo generale alla base di questa intera categoria di strumenti. Un free perplexity checker mostra direttamente quello stesso numero sottostante, senza chiedere prima a chi scrive di fidarsi della percentuale di un singolo fornitore.

Perché la scrittura accademica mette in difficoltà questi rilevatori?

La FAQ di ZeroGPT lo formula così: "highly polished, formulaic, or low-entropy writing can resemble AI." La prosa accademica è progettata per una scrittura altamente rifinita, formulaica e a bassa entropy. Una sezione di metodologia, una rassegna della letteratura e una lettera di presentazione formale premiano tutte la formula convenzionale rispetto a quella inventiva, perché è la convenzione che rende il documento utilizzabile per il suo lettore in primo luogo, e quella convenzione è precisamente il modello a bassa entropy che la stessa informativa del fornitore indica come un rischio.

Test indipendenti e sottoposti a peer review mostrano perché questa modalità di fallimento colpisce alcuni autori più duramente di altri. Uno studio di Stanford del 2023 ha esaminato sette rilevatori ampiamente usati, tra cui ZeroGPT, su 91 saggi TOEFL reali scritti da parlanti non nativi di inglese e 88 saggi scritti da studenti di ottava classe negli Stati Uniti. ZeroGPT ha segnalato il 48 percento dei saggi TOEFL come generati da AI, contro lo 0 percento dei saggi di ottava classe, la stessa direzione di errore mostrata da ogni rilevatore in quello studio, solo su una scala diversa.

Non c'è nulla in quel divario che sia specifico di ZeroGPT, e non c'è nulla di nuovo in questa informazione. È lo stesso schema di bias verso gli autori non nativi documentato in tutto il settore dei rilevatori, trattato più in dettaglio nella pagina di TextPulse sul perché i rilevatori di AI sono distorti contro i parlanti non nativi. Ciò che il divario mostra in modo specifico su uno strumento gratuito per consumatori è che la limitazione dichiarata dallo stesso fornitore, la scrittura a bassa entropia appare prodotta da una macchina, non è ipotetica. Un test sottoposto a peer review ha rilevato che ciò accadeva su questo prodotto esatto anni prima che l'attuale FAQ dell'azienda nominasse il meccanismo con le proprie parole.

Un punteggio di un rilevatore gratuito può dimostrare qualcosa su un singolo documento?

Non da solo. Una percentuale di ZeroGPT non è una prova di nulla su un documento specifico, in nessuna delle due direzioni. È la stima di un modello, costruita su test interni che l'azienda non ha pubblicato in una forma verificabile da chiunque sia esterno all'azienda, applicata a testi la cui lunghezza, storia di revisione e genere modificano tutti la lettura in modi che la stessa FAQ del fornitore già riconosce. Trattare un singolo punteggio gratuito come un verdetto chiede a quel punteggio più di quanto l'azienda che lo emette dichiari per esso.

Ciò per cui un punteggio è davvero utile è qualcosa di più ristretto e ordinario: una lettura rapida e senza costi di dove si colloca attualmente una bozza rispetto allo stesso tipo di misurazione statistica che esegue anche uno strumento istituzionale a pagamento, prima che qualcun altro la veda. Gli strumenti gratuiti di TextPulse coprono direttamente lo stesso ambito, senza chiedere a chi scrive di indovinare quale tra i punteggi di diversi rilevatori gratuiti sia il primo a cui affidarsi.

I dati di accuratezza nascondono su chi ricadono gli errori e che cosa li innesca. Sapere quando usare a, an e the elimina uno dei modelli che fa scattare un segnale, e che cosa significhi davvero un falso positivo è spiegato separatamente.

Niente di tutto questo rende privo di significato il numero di ZeroGPT, e niente di tutto questo rende il numero sufficiente da solo. Un punteggio è una stima iniziale, prodotta da un metodo che l'azienda descrive solo a grandi linee e non ha aperto a test esterni, su un testo il cui solo genere può spostare il risultato prima che chiunque sia coinvolto abbia fatto qualcosa di sbagliato. Le due parole che portano più informazione in quella pagina FAQ non sono la percentuale. Sono le cautele poste proprio accanto ad essa: interno, e orientato verso. Un punteggio gratuito è un punto di partenza per una conversazione su una bozza, non un argomento conclusivo in essa.

Cosa ha trovato la nostra ricerca

Nello studio sull'accordo tra rilevatori di TextPulse Research, nove rilevatori commerciali di IA hanno valutato gli stessi 90 testi accademici. Uno era un testo ibrido di 455 parole: apertura e chiusura scritte da un umano attorno a una parte centrale di 168 parole generata dall'IA. ZeroGPT ha assegnato a questo testo 7.6% di IA, mentre i verdetti degli altri strumenti sulle stesse parole andavano da 0% a 95.7% di IA. L'articolo completo, il corpus e la matrice dei punteggi per strumento sono ad accesso aperto su TextPulse Research.