Come funziona GPTZero

Digita "how gptzero works" in una barra di ricerca e la maggior parte di ciò che compare descrive ancora perplexity e burstiness, le due statistiche rese celebri dal suo stesso fondatore nelle prime settimane dopo il rilascio di ChatGPT. Questa descrizione era accurata nel gennaio 2023. Non lo è più dall'autunno di quell'anno, quando la documentazione di GPTZero afferma che l'azienda ha sostituito quel metodo con qualcosa di completamente diverso. Il divario tra ciò che lo strumento faceva al lancio e ciò che fa ora è abbastanza ampio da rendere la maggior parte delle spiegazioni ancora in circolazione oggi descrizioni di un prodotto che non esiste più.

Oggi, GPTZero esegue un classificatore frase per frase su un ampio corpus misto di testi generati da esseri umani e testi generati da AI, invece di un calcolo di perplexity. L'attuale GPTZero fornisce ancora un singolo numero principale, ma l'aritmetica è diversa. Anche l'evidenziazione a livello di frase sotto il numero principale ha un significato diverso rispetto al 2023. Entrambe le versioni della storia meritano di essere conosciute, quella che ha reso celebri i termini e quella che effettivamente funziona oggi.

La storia: come perplexity e burstiness hanno reso GPTZero famoso

Il 2 gennaio 2023, Edward Tian, allora studente di Princeton, ha rilasciato una demo pubblica di GPTZero, poche settimane dopo l'uscita di ChatGPT. La sua pagina esplicativa originale descrive come abbia usato due statistiche prese in prestito dal language modeling per rilevare quando un language model ha scritto qualcosa. Perplexity è un punteggio che indica quanto un modello di riferimento sia rimasto sorpreso dalle scelte lessicali nel testo. Burstiness è il nome che GPTZero dà a quanto quella sorpresa fluttua all'interno di un documento. Sono proprio quelle pagine esplicative il motivo per cui entrambe le parole sono entrate nel linguaggio quotidiano relativo alla scrittura con AI. La maggior parte delle persone che oggi sa definire perplexity o burstiness ha imparato questi termini da GPTZero, non da un manuale.

Il meccanismo in sé era semplice da descrivere. Si fa passare un brano attraverso un modello di linguaggio di riferimento, e la prosa che il modello trova altamente prevedibile, con bassa perplexity, appare tipica della macchina, poiché la generazione tende a favorire la parola successiva più probabile rispetto a quella sorprendente. La stessa documentazione ritirata di GPTZero pubblicava persino una regola empirica: un punteggio di perplexity superiore a 85 era considerato più probabilmente umano che macchina. Quella soglia proveniva da un fornitore, su un modello, in un momento preciso, e GPTZero stesso non la sostiene più.

Come funziona ora GPTZero: un classificatore a livello di frase

Il centro assistenza di GPTZero afferma chiaramente che l'azienda ha smesso di usare perplexity e burstiness per il rilevamento dall'autunno 2023, dopo essere passata a un'architettura di deep learning. La sua pagina tecnologica attuale, verificata per questo articolo, conferma che il cambiamento è totale: descrive un approccio di deep learning end-to-end addestrato su testi provenienti dal web, dall'istruzione e da una gamma di modelli di linguaggio, che esegue un modello di classificazione frase per frase e restituisce una probabilità e un punteggio di confidenza. Perplexity e burstiness non compaiono in alcun punto di quella pagina.

Da allora, ha anche aggiunto un livello di difesa, un Paraphraser Shield, progettato per intercettare testi AI che sono stati passati attraverso uno strumento di riscrittura per eludere il rilevamento. È possibile incollare testo, caricare documenti Word, PDF e file immagine, fino a cinquanta file alla volta. Nulla di questa infrastruttura ha a che fare con il conteggio di quante volte un modello di riferimento avrebbe indovinato la stessa parola.

Cosa mostra davvero un report di GPTZero

Un risultato di GPTZero comprende tre parti: una classificazione di AI, umano o misto, una percentuale che esprime la probabilità del modello che il documento sia stato scritto da AI, e un'etichetta di confidenza che descrive quanto sia affidabile quella specifica previsione. L'etichetta conta più di quanto possa sembrare. GPTZero associa "highly confident" a un tasso di errore inferiore al 2 percento e "low confidence" a un tasso di errore pari o superiore al 14 percento, un intervallo abbastanza ampio da far sì che la stessa percentuale principale possa avere un peso molto diverso da un report all'altro.

Le scansioni a pagamento aggiungono l’evidenziazione a livello di frase, ed è importante leggerla correttamente. GPTZero descrive le frasi evidenziate come quelle che incidono in modo sproporzionato sul punteggio complessivo, non come un elenco di accuse contro singole righe. Una frase può non essere evidenziata e aver comunque influenzato il risultato, perché il classificatore legge il documento nel suo insieme invece di votare frase per frase.

Report element	What it tells you
Classification	Un’unica etichetta: AI, umano o misto
AI probability score	Una percentuale che riflette quanto probabilmente il modello giudica il documento scritto da AI
Confidence label	Va da altamente sicuro, con un tasso di errore inferiore al 2 percento, a bassa sicurezza, 14 percento o superiore
Sentence highlighting	Segna le frasi che contribuiscono maggiormente al punteggio su Advanced Scan, non ogni frase ad esso collegata

Nessuno di questi elementi del report esisteva nella loro forma attuale quando la spiegazione su perplexity e burstiness era ancora la descrizione pubblica di GPTZero di sé stessa. L’interfaccia è cambiata insieme al metodo.

Perché la descrizione di Perplexity e Burstiness continua a circolare

La spiegazione originale di GPTZero è ancora online, ancora indicizzata e ancora una delle descrizioni generali più chiare di come funzionano perplexity e burstiness come concetti. I motori di ricerca e altri siti continuano a citarla, e alcuni rimandano a una recensione del 2026 ampiamente condivisa che sostiene che lo strumento esegua ancora silenziosamente un livello di perplexity e burstiness accanto al suo classificatore. Le pagine attuali di GPTZero, la pagina tecnologica e i due articoli di supporto, dicono il contrario: i termini sono stati ritirati, non semplicemente nascosti dietro le quinte. Una pagina che descrive un concetto in astratto non è la stessa cosa di una pagina che descrive il metodo attuale di questo strumento, e trattare le due come intercambiabili è in gran parte il motivo per cui la confusione è durata tre anni oltre la sua data di scadenza.

Questo conta oltre la semplice curiosità. A uno studente o a un collega detto di abbassare la perplexity o di distribuire la lunghezza delle frasi specificamente per battere GPTZero viene dato un consiglio rivolto a una versione del prodotto che ha smesso di funzionare nel 2023. Ciò che muove un classificatore di frasi è una questione correlata ma diversa, più vicina al resoconto generale di come funzionano davvero i rilevatori di AI che a una delle due statistiche prese da sole. GPTZero non ha smesso di misurarle, secondo la sua stessa descrizione esse rientrano tra sette indicatori che alimentano il modello attuale, ma hanno smesso di essere l'elemento che decide la risposta.

Cosa GPTZero afferma di non poter fare

Le cifre di accuratezza dichiarate da GPTZero sono, prevedibilmente, quelle che un fornitore è più incline a pubblicare sul proprio prodotto: 96.5 percento di accuratezza su documenti misti, un tasso complessivo di falsi positivi che l'azienda limita all'1 percento, e 1.1 percento specificamente sui saggi TOEFL, un sostituto comune per la scrittura in inglese di non madrelingua. Questi numeri provengono dalla valutazione interna di GPTZero, senza alcuna replica indipendente citata nella pagina che li riporta.

La pagina dei limiti di GPTZero è più specifica delle cifre di marketing. L'azienda afferma che l'accuratezza migliora quando viene inviato più testo e diminuisce a livello di frase e di paragrafo rispetto al documento completo. Afferma che i dati di addestramento sono per lo più prosa in inglese di adulti, quindi il testo che si discosta da quel modello è più difficile da classificare in modo affidabile. Afferma che il classificatore non è addestrato a individuare testo AI che sia stato pesantemente modificato dopo la generazione. E afferma chiaramente che anche altri testi generati da macchine o fortemente procedurali, non solo l'output di chatbot, possono essere segnalati nello stesso modo.

Niente di tutto ciò è un motivo per considerare il numero di GPTZero al di sopra di ogni dubbio, e non è l'unico rilevatore che valga la pena comprendere nei propri termini. I lettori curiosi di sapere a cosa risponda davvero un classificatore di questo tipo possono vedere da soli una versione di quel modello con un free perplexity checker o con un free burstiness checker, due elementi di una più ampia free tools collection che copre gli altri livelli statistici su cui si basa un rapporto come questo.

Le due statistiche principali di GPTZero hanno pagine dedicate: what perplexity measures in AI detection, e the token probability arithmetic that produces both numbers.

Uno strumento disposto a nominare con tanta precisione i propri punti ciechi merita più fiducia di uno che sostiene di non averne, e la prossima percentuale non spiegata in un rapporto è un buon punto da cui iniziare a chiedersi quale tipo di strumento l'abbia prodotta.