Studio comparativo sugli humanizer AI: cosa è accaduto agli stessi testi accademici

Nello studio comparativo sui humanizer AI, ogni humanizer ha spostato gli stessi 48 testi accademici verso uno stile di scrittura umano, e gli strumenti differivano soprattutto in ciò che conservavano. Alcuni mantenevano il significato, le citazioni e i numeri vicini alla fonte. Altri aggiungevano numeri e nomi inventati oppure nuovi errori grammaticali, e quei risultati erano spesso quelli che un detector classificava come umani.

TextPulse Research ha condotto lo studio comparativo sui humanizer AI nell'agosto 2026 e lo ha pubblicato come working paper il 29 agosto. TextPulse è uno degli strumenti presenti nello studio, quindi ogni strumento ha ricevuto gli stessi input e ogni misura è uno script pubblico. Il working paper completo contiene tutte le tabelle, le figure e gli script, e tutti i 432 testi riscritti sono pubblici.

Cosa ha testato lo studio comparativo sui humanizer AI

Lo studio ha fornito a ogni humanizer gli stessi 48 testi. Ognuno era la sezione Risultati e Discussione di uno studio empirico inventato, scritto da un modello AI e lungo circa 301 parole. Quattro famiglie di modelli hanno scritto 12 testi ciascuna: OpenAI, Google, DeepSeek e Anthropic. I testi coprivano quattro discipline e tre stili di citazione, quindi ogni strumento si è confrontato con numeri, nomi di autori e marcatori di riferimento che doveva conservare.

Parte del disegno	Che cosa ha usato lo studio
Testi di partenza	48 sezioni Risultati e Discussione scritte da AI, da 264 a 344 parole ciascuna
Chi le ha scritte	12 testi ciascuno da modelli OpenAI, Google, DeepSeek e Anthropic
Discipline	Medicina e salute, scienze fisiche e computazionali, scienze sociali, discipline umanistiche
Stili di citazione	APA autore-anno, parentesi numeriche, nessuna citazione
Fatti verificati nei testi	404 termini tecnici, 887 numeri, 124 citazioni
Come è stato eseguito ciascuno strumento	Incollato una volta nella sua pagina web all'impostazione predefinita, output conservato così come restituito
Date	dal 26 al 28 agosto 2026
Detector	Turnitin, un documento per strumento, e GPTZero, ogni testo separatamente

Il compito di un humanizer è riscrivere l'output di AI, quindi lo studio è partito da output di AI con un elenco verificato di fatti. Prima di qualsiasi riscrittura, ogni modello elencava i termini, i numeri e le citazioni che aveva usato. Ogni elemento elencato è stato confrontato con il testo, e qualsiasi elemento assente da esso è stato eliminato. Questo ha lasciato un elenco fisso per ciascun testo, così lo studio poteva contare con precisione che cosa ogni humanizer avesse mantenuto, modificato o inventato.

Ogni testo è stato inserito una sola volta nella pagina web di ciascuno strumento, al suo setting predefinito, e l'output è stato salvato esattamente come è stato restituito. Nessuno ha modificato un output. Alcuni strumenti hanno elaborato meno di 48 testi perché i livelli gratuiti limitano quanti testi uno strumento accetterà. Un insieme centrale di 24 testi era lo stesso per ciascuno strumento, nello stesso ordine. TextPulse ha elaborato tutti i 48.

Come lo studio ha misurato un testo umanizzato

Un punteggio del detector indica come un testo è apparso a un detector in un giorno specifico. Non dice nulla sul fatto che la riscrittura riporti ancora gli stessi risultati. Lo studio ha valutato ogni output prima sul testo stesso e poi sui detector. Per studenti o ricercatori, è importante avere un articolo che dica ancora ciò che dicono i dati, in una prosa che sembri scritta da una persona.

Misura	Cosa verifica	Perché conta in un articolo
Significato	Quanto la riscrittura è vicina alla fonte, come punteggio di somiglianza da 0 a 1	Un punteggio più basso significa che il paragrafo ora dice qualcos'altro
Citazioni mantenute	Quota delle citazioni nel testo ancora presenti con lo stesso autore e anno	Un anno modificato rompe la corrispondenza con l'elenco dei riferimenti
Numeri mantenuti	Quota dei numeri verificati ancora nel testo	Una dimensione del campione o un valore p perduti cambiano il risultato
Elementi inventati	Numeri e nomi nell'output che la fonte non aveva mai avuto	Una cifra inventata è un'affermazione falsa sullo studio
Errori grammaticali aggiunti	Nuovi errori per 1,000 parole, conteggiati con LanguageTool	Gli errori costano punti e fiducia dei revisori
Livello di lettura	Variazione nel livello Flesch-Kincaid	Il testo AI ha un livello più alto rispetto alla prosa umana pubblicata
Posizione stilistica	Posizione del testo tra la scrittura umana tipica e la scrittura AI tipica	I rilevatori stilometrici rispondono a queste caratteristiche
Lunghezza	Lunghezza dell'output rispetto alla fonte, da 0.70 a 1.30 volte conta come mantenuta	Uno strumento che dimezza un testo ha eliminato contenuto

La posizione stilistica deriva da una scala che TextPulse ha sviluppato a partire da 47 caratteristiche stilistiche ricavate da 121,092 testi accademici (descritta nel nostro articolo di classificazione stilometrica). Il testo accademico umano tipico è a 0 e il testo AI tipico è a 100. Chiamiamo intervallo umano la metà centrale dei testi umani (da -36 a 33).

Il vocabolario è stato valutato rispetto a un elenco di 1,057 parole tratto dal nostro articolo sul vocabolario AI. Di queste, 581 sono parole che i modelli AI usano più delle persone, e 476 vanno nella direzione opposta. Lo studio ha contato quante parole orientate verso l'AI ogni strumento ha rimosso per 1,000 parole.

Cosa ha fatto ogni humanizer al testo

Ogni strumento nello studio ha spostato i propri output verso l'estremità umana della scala stilistica. I testi AI non trattati avevano una media di 138, oltre il tipico testo AI a 100. Dopo la riscrittura, alcuni strumenti hanno raggiunto l'intervallo umano e altri si sono fermati a metà strada. Ogni strumento ha anche rimosso il lessico orientato all'AI e abbassato il livello di lettura, quindi la direzione del cambiamento è stata la stessa in tutto il campo.

Due tipi di caratteristiche spostano di più un testo lungo la scala. La prima coppia è la lunghezza media delle parole e la proporzione di parole lunghe. Una riscrittura da "help" a "facilitate" renderà il testo più simile all'AI perché aumenta la lunghezza media delle parole e aumenta la proporzione di parole lunghe. La seconda è la varietà della lunghezza delle frasi, che spinge verso l'umano. Un paragrafo in cui tutte le frasi hanno da 22 a 26 parole è uniforme, ma un paragrafo che mescola una frase di 9 parole con una di 31 è vario.

L'idea è arrivare a un livello di lettura più basso. Il testo accademico scritto da AI ha un livello Flesch-Kincaid più alto rispetto alla prosa accademica umana pubblicata. Quindi, se scende, la scrittura si avvicina di più allo stile semplice in cui scrivono i ricercatori. È a questo che rispondono i rilevatori stilometrici. Sono anche questi i cambiamenti che rendono una bozza più facile da leggere. I due obiettivi coincidono, purché il contenuto resti intatto.

Il nostro post su come i humanizers cambiano una frase mostra queste modifiche una frase alla volta. Lo studio aggiunge la misurazione, quanto ogni cambiamento ha spostato il testo e quale costo ha avuto in termini di significato e fatti.

Dove gli strumenti differivano: significato, citazioni e numeri

Gli strumenti differivano nei loro tassi di conservazione. Per esempio, nello studio, tra il 29 e il 100 percento delle citazioni è stato conservato. Tra 0.06 e 4.44 elementi inventati sono comparsi per output. Tra 0.65 e 4.91 nuovi errori grammaticali sono comparsi per 1,000 parole. Gli elementi inventati erano dimensioni del campione, percentuali, limiti di confidenza, nomi di autori e istituzioni che la fonte non aveva mai menzionato.

Nomi e unità sono scomparsi in modi più discreti. Quando uno strumento riformulava una statistica, spesso eliminava l'unità, così "Cohen's d" diventava una dimensione dell'effetto e "Celsius" diventava gradi. I nomi degli autori scomparivano insieme alle loro citazioni. I nomi di specie, epoca e strumento venivano sostituiti da una descrizione. Un lettore che voglia verificare un risultato ha bisogno di quei nomi, quindi ciascuna di queste perdite conta.

La profondità della riscrittura e la fedeltà spingono in direzioni opposte. Uno strumento che modifica un terzo delle parole conserva più facilmente il significato. Uno strumento che ne modifica la maggior parte ha più possibilità di perdere qualcosa. La quota di parole modificate variava dal 35 al 68 percento. Il risultato che un ricercatore desidera è una riscrittura profonda che conservi comunque il significato. Questa combinazione era rara.

Lo studio ha cercato anche caratteri nascosti: caratteri invisibili, spazi non standard e lettere simili provenienti dagli alfabeti cirillico o greco. Alcuni humanizer li aggiungono per modificare il risultato di un detector. Nessuno strumento in questo studio ne ha aggiunti, quindi nessun output ha fallito il controllo di qualità per questo motivo.

Perché il solo risultato di un detector è un benchmark debole per un humanizer

Il risultato di un detector, preso da solo, è un benchmark incompleto per un humanizer. Nello studio di confronto sugli humanizer AI, gli output che GPTZero etichettava più spesso come umani provenivano da strumenti che inventavano più numeri e nomi, eliminavano più citazioni o aggiungevano più errori grammaticali. Il modo più semplice per modificare la stima di un detector è cambiare ciò che il testo dice. Una riscrittura di questo tipo fallisce il lavoro che avrebbe dovuto aiutare.

Per misurare entrambe le dimensioni contemporaneamente, lo studio ha stabilito un controllo di qualità. Per superarlo, un output doveva avere un punteggio di significato di almeno 0.95 e almeno il 90 percento delle sue citazioni. Doveva inoltre non contenere numeri o nomi inventati, caratteri nascosti e avere una lunghezza entro la tolleranza. Un'etichetta di umano assegnata da GPTZero contava quindi solo per gli output che superavano il controllo. Il controllo era lo stesso per ogni strumento.

Ogni output dello strumento è stato inserito in un unico documento, con un testo per pagina. Lo studio ha usato la percentuale di AI di Turnitin per il documento. Turnitin usa un asterisco invece di un numero per valori inferiori al 20 percento. I risultati dei detector sono stime ricavate da una versione del detector nelle date dello studio. Abbiamo scritto su come leggere il vostro punteggio AI di Turnitin nella nostra guida su che cosa significa un punteggio AI di Turnitin.

Come TextPulse si è comportato nel confronto tra humanizer

TextPulse è arrivato primo nell'indice composito dello studio, che attribuisce lo stesso peso alla profondità della riscrittura, al significato, alla posizione stilistica, alla grammatica e all'integrità del contenuto. I punteggi di TextPulse erano 0.811 per queste cinque misure e 0.843 quando è stata aggiunta la misura del detector con soglia. Si è comportato bene perché non presentava alcuna misura debole. Ha riscritto più della metà di ciascun testo e ha mantenuto i fatti da cui dipende un articolo.

Misura	Risultato di TextPulse
Parole modificate	52 percento
Significato mantenuto (somiglianza con la fonte)	0.971, circa 97 percento
Citazioni mantenute	99 percento
Numeri mantenuti	87 percento
Entità nominate mantenute	95 percento
Errori grammaticali aggiunti	0.65 per 1,000 parole, il numero più basso nello studio
Elementi inventati	0.48 per output, un nome inventato in un output su cinquanta
Livello di lettura	3.6 gradi in meno, il calo più ampio
Parole con tendenza all'AI rimosse	39 per 1,000 parole, il numero più alto nello studio
Posizione stilistica	29, all'interno dell'intervallo umano
Output entro la tolleranza di lunghezza	47 su 48
Output che hanno superato il controllo di qualità	67 percento
Punteggio AI di Turnitin, un documento con tutti gli output	24 percento, il più basso nello studio (a pari merito)
Etichetta umana di GPTZero sugli output che hanno superato il controllo	10.4 percento (5 su 48), il più alto nello studio

Due risultati contano di più per l'uso accademico. Tra gli strumenti che hanno cambiato almeno metà delle parole, TextPulse ha mantenuto meglio il significato. Tra gli strumenti con un punteggio di significato pari a 0.97 o superiore, ha cambiato il maggior numero di parole. Nessun altro strumento nello studio rientrava in entrambi i gruppi. Un humanizer per la scrittura accademica ha bisogno di questa combinazione, poiché una riscrittura leggera lascia invariato lo stile AI e una riscrittura profonda che elimina i fatti altera i risultati.

GPTZero ha etichettato 9 dei 48 output di TextPulse come umani, e 5 di questi hanno anche superato la soglia di qualità, il risultato con soglia più alto nello studio. Il documento Turnitin degli output di TextPulse ha ottenuto un punteggio AI del 24 percento, a pari merito per il punteggio più basso. Gli altri documenti hanno ottenuto punteggi dal 28 al 74 percento. I risultati dei detector sono stime, e lo studio li riporta accanto alle misure testuali per questo motivo.

Ciò che lo studio non può dirvi

Lo studio di confronto degli humanizer AI elenca i propri limiti. I testi sono stati scritti da modelli AI a partire da un prompt fisso, e le bozze reali sono più lunghe e meno uniformi. Ogni strumento è stato eseguito una sola volta, con la sua impostazione predefinita, tra il 26 e il 28 agosto 2026. I fornitori aggiornano i loro strumenti, quindi i risultati descrivono quelle date e vanno letti come un'istantanea.

Strumenti diversi hanno numeri diversi di testi, poiché sono limitati a un certo numero di testi gratuiti che lo strumento elaborerà. Questo comporta anche intervalli di confidenza più ampi per gli strumenti con meno testi. Turnitin genera un punteggio per documento e quindi non presenta una distribuzione di punteggi per testo. GPTZero è un detector, una versione del modello (2026-08-09-base).

TextPulse ha realizzato lo studio ed è uno degli strumenti in esso presenti. A ogni strumento sono stati forniti gli stessi input. Per protocollo, tutte le misure sono script disponibili pubblicamente, e tutti i risultati grezzi sono condivisi. Ciò significa che chiunque può rieseguire i calcoli, oppure ponderarli in modo diverso. I testi di partenza, tutti i 432 output, le risposte dei detector e gli script sono pubblici.

Come usare i risultati sulla vostra bozza

I risultati si traducono in un breve controllo che potete eseguire dopo qualsiasi humanizer, incluso il nostro. Confrontate l'output con la vostra bozza per gli aspetti conteggiati nello studio. Su una singola sezione richiede pochi minuti.

1. Controlla ogni numero rispetto alla tua bozza: dimensioni del campione, percentuali, valori p e intervalli di confidenza.
2. Controlla ogni citazione nel testo per verificare che autore e anno siano gli stessi, poi confrontala con l'elenco delle referenze.
3. Cerca i nomi che sono cambiati: strumenti, specie, dataset, unità e nomi degli autori.
4. Leggi le affermazioni che sono diventate più forti, come "può indicare" riscritto come "mostra".
5. Confronta la lunghezza. Un output molto più breve della fonte ha probabilmente omesso contenuti.
6. Leggi il testo ad alta voce per individuare errori grammaticali aggiunti dalla riscrittura.

La lunghezza è il controllo più rapido tra questi. Nello studio, un output compreso tra 0.70 e 1.30 volte la lunghezza della fonte è stato considerato mantenuto. TextPulse ha mantenuto 47 dei 48 output all'interno di quella fascia, con una media di 1.14 volte la fonte, quindi i suoi output risultavano leggermente più lunghi delle bozze.

Le citazioni richiedono più tempo per essere controllate manualmente. Nello studio, TextPulse ne ha mantenuto il 99 percento, e le sue modifiche riguardavano la presentazione, come una citazione tra parentesi trasformata in una citazione narrativa. Il nostro articolo su un humanizer AI che preserva le citazioni spiega che cosa cercare nei propri marcatori di riferimento.

Il free burstiness checker misura quanto variano le lunghezze delle frasi nella tua bozza. Una lunghezza delle frasi variabile è una delle caratteristiche che la scala dello studio pondera a favore della scrittura umana. Per una guida classificata con i prezzi, consulta la nostra guida al miglior humanizer AI per la scrittura accademica. Quando sei pronto a riscrivere, il TextPulse AI humanizer è progettato per mantenere numeri, nomi e citazioni, e riporta un Human Score stimato per il risultato.