Recensione di Winston AI: la rivendicazione di accuratezza del 99.98% contro le prove

Winston AI pubblicizza una precisione del 99.98%, la cifra autoattribuita più alta tra tutti i principali rilevatori di AI. Il numero compare sulla homepage dell'azienda accanto alle parole "The Most Trusted AI Detector", e deriva dai test interni dell'azienda stessa, non da un laboratorio esterno. Non viene pubblicati, insieme a esso, la metodologia, la dimensione del set di test, il rapporto tra campioni umani e campioni generati da AI, né la soglia operativa. Questo scarto tra l'affermazione e la sua documentazione è la prima cosa che un lettore attento deve sapere su questo strumento.

La seconda cosa è che Winston è stato effettivamente testato da soggetti esterni, il che è più di quanto possano dire alcuni rilevatori. Il benchmark RAID, uno studio sottoposto a revisione paritaria presentato all'ACL 2024, ha messo Winston a confronto con circa 6.2 milioni di testi generati da macchine e ha misurato un'accuratezza complessiva del 71.0% con il tasso di falsi positivi fissato al 5%. È molto lontano dal 99.98%. Ha inoltre collocato Winston al secondo posto tra i quattro rilevatori commerciali testati, davanti a GPTZero e ZeroGPT. Entrambi i fatti contano, e nessuno dei due annulla l'altro.

Ciò che segue riguarda che cosa sia Winston e per chi sia stato progettato, che cosa affermi il fornitore, che cosa possa e non possa significare statisticamente un auto-benchmark del 99.98%, e che cosa mostrino in realtà i numeri indipendenti.

Che cos'è Winston AI e chi lo usa?

Winston AI è un rilevatore a pagamento, basato su abbonamento, rivolto in modo specifico a docenti ed editori di contenuti. Il suo elenco di funzionalità assomiglia al flusso di lavoro di un insegnante: il sito dell'azienda descrive un OCR che estrae testo da documenti scansionati, foto e scrittura a mano, un'integrazione con Google Classroom elencata tra le piattaforme supportate, un controllo antiplagio accanto al rilevamento di AI e l'organizzazione dei documenti per gestire gruppi di invii. Il fornitore afferma che rileva output di ChatGPT, Gemini, Claude, LLaMA "and much more".

La parte più distintiva dell'interfaccia è l'output per frase. Invece di restituire solo una singola percentuale, Winston produce quello che chiama una mappa di previsione AI: una valutazione codificata per colore, frase per frase, di quali parti di un documento appaiono generate da una macchina. Per un docente, quella mappa è più utile di un semplice punteggio, perché mostra dove si concentra il sospetto dello strumento. È anche facile sovrainterpretarla, un punto trattato più avanti.

Cosa afferma l'azienda?

L'affermazione principale sulla homepage di Winston AI è "99.98% Accurate." Al momento in cui scriviamo, la pagina che riporta quel dato non pubblica come sia stato costruito il corpus di test, quante campioni contenesse, quale combinazione di testo umano e AI abbia usato, né a quale soglia decisionale fosse impostato il rilevatore quando il dato è stato misurato. Non è insolito per questo settore, il medesimo divario tra le affermazioni di accuratezza dei fornitori e le prove indipendenti attraversa quasi ogni rilevatore sul mercato. La versione dell'affermazione di Winston è semplicemente il numero più grande che qualcuno vi abbia apposto.

Cosa può significare davvero un auto-benchmark del 99.98%?

Prendiamo sul serio l'aritmetica per un momento. Un tasso di accuratezza del 99.98% significa 2 errori ogni 10,000 campioni. Per misurare affatto quel dato, un'azienda ha bisogno di un insieme di test etichettato di almeno decine di migliaia di documenti, in cui l'origine reale di ogni testo sia nota con certezza. Poi il numero descrive solo le prestazioni su quel corpus: quei modelli AI, quei prompt, quei generi, quella lunghezza del testo, a una soglia scelta.

Nulla di tutto ciò richiede malafede. Un rilevatore addestrato su saggi generati da modelli di chat diffusi, e poi testato su un corpus di saggi generati da modelli di chat diffusi, otterrà davvero un punteggio vicino al massimo. Il problema è la trasferibilità. Nel momento in cui il testo in ingresso proviene da un modello diverso, da una strategia di campionamento diversa, o da uno scrittore il cui stile naturale è insolitamente uniforme, il corpus su cui è stato misurato il benchmark non descrive più il testo che viene giudicato. Un benchmark interno è un esperimento controllato condotto dalla parte con il più forte interesse nel suo esito, in condizioni da essa stessa scelte. È una prova, ma è la forma più debole di prova, e la metodologia mancante significa che nessuno al di fuori dell'azienda può nemmeno verificarla.

Cosa Mostra Il Test Indipendente?

Il test pubblico più rigoroso che include Winston è RAID: A Shared Benchmark for Robust Evaluation of Machine-Generated Text Detectors, uno studio sottoposto a revisione paritaria di Dugan e colleghi presentato all'ACL 2024. RAID ha valutato 12 rilevatori, inclusi quattro prodotti commerciali, su circa 6.2 milioni di generazioni che coprono 11 modelli linguistici, 8 domini di scrittura, 4 strategie di decoding e 11 attacchi avversari, con ogni rilevatore calibrato allo stesso tasso di falsi positivi del 5% così che i punteggi siano confrontabili.

Detector	Accuratezza complessiva in RAID (FPR fissato al 5%)
Originality.ai	85.0%
Winston AI	71.0%
GPTZero	66.5%
ZeroGPT	65.5%

Due letture di quella tabella sono oneste allo stesso tempo. Il 71.0% di Winston è lontanissimo dal 99.98%, e Winston ha comunque battuto due dei suoi tre rivali commerciali sul benchmark pubblico più difficile disponibile. Anche le medie nascondono una distribuzione rivelatrice. Nei risultati per modello di RAID, Winston ha ottenuto il 99.6% sull'output di ChatGPT e il 98.8% sull'output di GPT-4, vicino alla propria cifra dichiarata, ma è sceso al 47.6% sul testo di GPT-2 e al 24.8% sul testo del modello base MPT-30B. Sul testo macchina parafrasato, la sua accuratezza è scesa al 52.6%.

Quella distribuzione è l'intera storia della rivendicazione del 99.98% in miniatura. Su testi che assomigliano a quelli per cui il rilevatore era presumibilmente tarato, modelli di chat recenti che scrivono prosa semplice, Winston si comporta in modo vicino a quanto promesso dal marketing. Fuori da quella distribuzione, le prestazioni precipitano. Un benchmark interno costruito con testo della stessa distribuzione può davvero produrre un numero quasi perfetto, pur dicendo quasi nulla sulla miscela disordinata di modelli, modifiche e parafrasi che contiene una casella di posta reale. I segnali statistici su cui si basano i rilevatori sono trattati in modo più approfondito nel nostro spiegone su come funzionano i rilevatori di AI.

Falsi positivi: chi ne viene danneggiato?

La progettazione di RAID rende visibile un compromesso che il marketing dei fornitori raramente mostra: ogni punteggio di accuratezza nello studio è stato misurato dopo aver fissato il tasso di falsi positivi al 5%. A quella calibrazione, 1 documento umano su 20 viene segnalato. Un rilevatore può abbassare quel tasso alzando la propria soglia, ma solo individuando meno testo AI, i due numeri si muovono insieme, e un fornitore che ne cita uno senza l'altro sta citando metà risultato.

Il peso di quegli errori non è distribuito in modo uniforme. Una scrittura formulaica, convenzionale e a bassa varianza appare simile a quella di una macchina a ogni rilevatore statistico, e questa descrizione si adatta alle sezioni di metodologia, alle rassegne della letteratura e alla prosa accurata di chi scrive in una seconda lingua. Il modello di AI detectors che segnalano gli anglofoni non madrelingua a tassi elevati è documentato in tutto il settore, e nulla nel metodo di Winston lo esenta. La mappa di previsione per singola frase merita la stessa cautela: una frase evidenziata in rosso è un'osservazione statistica sui modelli lessicali, non una prova sulla paternità del testo. Gli studenti che si trovano di fronte a una segnalazione ingiusta dovrebbero partire dalla documentazione, non dalla confessione, la nostra guida su come dimostrare di non aver usato AI illustra ciò che davvero persuade.

Prezzi e accesso

Winston è un prodotto a pagamento con una prova limitata. Winston indica una prova gratuita di 14 giorni con 2.000 crediti, un piano Essential a $18 al mese, oppure $10 al mese con fatturazione annuale, con 100.000 crediti mensili, un piano Advanced a $29 al mese, oppure $16 all'anno, che aggiunge postazioni per il team e scansioni più ampie, e un livello Elite al di sopra di questo. Per un singolo docente che esamina un numero di consegne pari a quello di una classe, questo colloca Winston nella fascia degli acquisti d'impulso, più economico dei contratti istituzionali, più capace della maggior parte degli strumenti gratuiti.

Dove si colloca Winston nel panorama dei rilevatori

Sulla base delle prove indipendenti, Winston è un rilevatore commerciale di fascia media che funziona meglio del livello gratuito del mercato e peggio di quanto sostenga la sua pubblicità. Si adatta a un docente che desidera una visibilità per singola frase, l'integrazione con Classroom e il controllo del plagio in un unico strumento economico, e che considera ogni risultato come uno spunto per una conversazione, non come un verdetto. Non si adatta a chiunque abbia bisogno che il punteggio funzioni come prova, perché il punteggio di nessun rilevatore lo fa.

Il confronto completo

Winston è uno dei rilevatori in un settore affollato, e il suo divario tra 71% e 99.98% è un esempio di un modello diffuso a livello di settore. Per vedere come si confronta con Turnitin, GPTZero, Originality, ZeroGPT e gli altri sugli stessi criteri basati sulle prove, consulta la nostra guida completa a AI detectors compared.

Cosa ha trovato la nostra ricerca

Nello studio sull'accordo tra rilevatori di TextPulse Research, nove rilevatori commerciali di IA hanno valutato gli stessi 90 testi accademici. Uno era un testo ibrido di 455 parole: apertura e chiusura scritte da un umano attorno a una parte centrale di 168 parole generata dall'IA. Winston AI ha assegnato a questo testo 7% di IA, mentre i verdetti degli altri strumenti sulle stesse parole andavano da 0% a 95.7% di IA. L'articolo completo, il corpus e la matrice dei punteggi per strumento sono ad accesso aperto su TextPulse Research.