Πώς λειτουργεί το GPTZero

Πληκτρολογήστε "how gptzero works" σε μια γραμμή αναζήτησης και τα περισσότερα από όσα επιστρέφονται εξακολουθούν να περιγράφουν την perplexity και τη burstiness, τις δύο στατιστικές που ο ίδιος ο ιδρυτής του κατέστησε γνωστές στις πρώτες εβδομάδες μετά την κυκλοφορία του ChatGPT. Αυτή η περιγραφή ήταν ακριβής τον Ιανουάριο του 2023. Δεν ήταν ακριβής από το φθινόπωρο εκείνου του έτους, όταν η ίδια η τεκμηρίωση του GPTZero αναφέρει ότι η εταιρεία αντικατέστησε αυτή τη μέθοδο με κάτι εντελώς διαφορετικό. Το χάσμα ανάμεσα σε ό,τι έκανε το εργαλείο κατά την κυκλοφορία του και σε ό,τι κάνει τώρα είναι αρκετά μεγάλο ώστε οι περισσότερες εξηγήσεις που εξακολουθούν να κυκλοφορούν σήμερα να περιγράφουν ένα προϊόν που δεν υπάρχει πλέον.

Σήμερα, το GPTZero εκτελεί έναν ταξινομητή σε επίπεδο πρότασης πάνω σε ένα μεγάλο μικτό σώμα κειμένων που έχουν παραχθεί από ανθρώπους και από AI, αντί για υπολογισμό perplexity. Το σημερινό GPTZero εξακολουθεί να παρέχει έναν μοναδικό συνολικό αριθμό, αλλά η αριθμητική είναι διαφορετική. Η επισήμανση σε επίπεδο πρότασης κάτω από τον συνολικό αριθμό έχει επίσης διαφορετική σημασία από ό,τι είχε το 2023. Και οι δύο εκδοχές της ιστορίας αξίζει να είναι γνωστές, η μία που έκανε τους όρους διάσημους και η άλλη που πράγματι λειτουργεί σήμερα.

Η ιστορία: Πώς η perplexity και η burstiness έκαναν το GPTZero διάσημο

Στις 2 Ιανουαρίου 2023, ο τότε φοιτητής του Princeton Edward Tian κυκλοφόρησε μια δημόσια επίδειξη του GPTZero, μόλις λίγες εβδομάδες μετά την κυκλοφορία του ChatGPT. Η αρχική του σελίδα επεξήγησης περιγράφει πώς χρησιμοποίησε δύο στατιστικές δανεισμένες από τη γλωσσική μοντελοποίηση για να ανιχνεύσει πότε ένα γλωσσικό μοντέλο έχει γράψει κάτι. Η perplexity είναι ένας δείκτης για το πόσο εκπλήχθηκε ένα μοντέλο αναφοράς από τις επιλογές λέξεων στο κείμενο. Η burstiness είναι η ονομασία που δίνει το GPTZero στο πόσο μεταβαλλόταν αυτή η έκπληξη μέσα σε ένα έγγραφο. Αυτές οι σελίδες επεξήγησης είναι ο λόγος για τον οποίο και οι δύο λέξεις μπήκαν καθόλου στην καθημερινή συζήτηση για τη γραφή με AI. Οι περισσότεροι άνθρωποι που μπορούν σήμερα να ορίσουν την perplexity ή τη burstiness έμαθαν τους όρους από το GPTZero, όχι από κάποιο εγχειρίδιο.

Ο ίδιος ο μηχανισμός ήταν απλό να περιγραφεί. Περνάτε ένα απόσπασμα μέσα από ένα γλωσσικό μοντέλο αναφοράς, και η πρόζα που το μοντέλο βρίσκει εξαιρετικά προβλέψιμη, με χαμηλή perplexity, διαβάζεται ως τυπική για μηχανή, αφού η παραγωγή τείνει να ευνοεί την πιθανότερη επόμενη λέξη αντί για την απροσδόκητη. Η ίδια η παρωχημένη τεκμηρίωση του GPTZero δημοσίευσε μάλιστα έναν εμπειρικό κανόνα, μια βαθμολογία perplexity πάνω από 85 διαβαζόταν ως πιο πιθανό να είναι ανθρώπινη παρά μηχανική. Αυτό το όριο προερχόταν από έναν προμηθευτή, σε ένα μοντέλο, σε μια χρονική στιγμή, και το ίδιο το GPTZero δεν το υποστηρίζει πλέον.

Πώς Λειτουργεί Τώρα το GPTZero: Ένας Ταξινομητής σε Επίπεδο Πρότασης

Το κέντρο υποστήριξης του GPTZero αναφέρει ρητά ότι η εταιρεία σταμάτησε να χρησιμοποιεί perplexity και burstiness για ανίχνευση από το φθινόπωρο του 2023, μετά τη μετάβαση σε μια αρχιτεκτονική βαθιάς μάθησης. Η τρέχουσα σελίδα τεχνολογίας του, η οποία ελέγχθηκε για το παρόν κείμενο, επιβεβαιώνει ότι η αλλαγή είναι πλήρης, καθώς περιγράφει μια προσέγγιση end-to-end deep learning εκπαιδευμένη σε κείμενα από τον ιστό, την εκπαίδευση και ένα εύρος γλωσσικών μοντέλων, η οποία εκτελεί ένα μοντέλο ταξινόμησης πρόταση προς πρόταση που αποδίδει μια πιθανότητα και μια βαθμολογία εμπιστοσύνης. Η perplexity και η burstiness δεν εμφανίζονται πουθενά σε εκείνη τη σελίδα.

Από τότε, έχει επίσης προσθέσει ένα επίπεδο άμυνας, το Paraphraser Shield, σχεδιασμένο να εντοπίζει κείμενο AI που έχει περάσει από εργαλείο αναδιατύπωσης για να αποφύγει την ανίχνευση. Μπορείτε να επικολλήσετε κείμενο, να ανεβάσετε έγγραφα Word, PDFs και αρχεία εικόνας, και έως πενήντα αρχεία ταυτόχρονα. Τίποτε από αυτή την υποδομή δεν έχει καμία σχέση με την καταμέτρηση του πόσο συχνά ένα γλωσσικό μοντέλο αναφοράς θα είχε μαντέψει την ίδια λέξη.

Τι Σας Δείχνει Πράγματι μια Αναφορά του GPTZero

Ένα αποτέλεσμα του GPTZero περιλαμβάνει τρία μέρη, μια ταξινόμηση ως AI, ανθρώπινο ή μεικτό, ένα ποσοστό που εκφράζει την πιθανότητα του μοντέλου ότι το έγγραφο είχε γραφτεί από AI, και μια ετικέτα εμπιστοσύνης που περιγράφει πόσο αξιόπιστη είναι εκείνη η συγκεκριμένη πρόβλεψη. Η ετικέτα έχει μεγαλύτερη σημασία από ό,τι ίσως φαίνεται. Το GPTZero συνδέει το "highly confident" με ποσοστό σφάλματος κάτω από 2 percent και το "low confidence" με ποσοστό σφάλματος 14 percent ή υψηλότερο, ένα αρκετά ευρύ εύρος ώστε το ίδιο ποσοστό στον τίτλο να μπορεί να έχει πολύ διαφορετικό βάρος από μια αναφορά στην επόμενη.

Οι επί πληρωμή σαρώσεις προσθέτουν επισημάνσεις σε επίπεδο πρότασης, και αξίζει να διαβάζονται σωστά. Το GPTZero περιγράφει τις επισημασμένες προτάσεις ως εκείνες που επηρεάζουν δυσανάλογα τη συνολική βαθμολογία, όχι ως κατάλογο κατηγοριών εναντίον μεμονωμένων γραμμών. Μια πρόταση μπορεί να μην επισημανθεί και παρ' όλα αυτά να έχει διαμορφώσει το αποτέλεσμα, επειδή ο ταξινομητής διαβάζει το έγγραφο ως σύνολο και όχι ψηφίζοντας πρόταση προς πρόταση.

Στοιχείο αναφοράς	Τι σας λέει
Classification	Μία μόνο ετικέτα: AI, ανθρώπινο ή μεικτό
AI probability score	Ένα ποσοστό που αντανακλά πόσο πιθανό κρίνει το μοντέλο ότι το έγγραφο έχει γραφτεί από AI
Confidence label	Κυμαίνεται από πολύ υψηλή βεβαιότητα, κάτω από ποσοστό σφάλματος 2 percent, έως χαμηλή βεβαιότητα, 14 percent ή υψηλότερο
Sentence highlighting	Σημειώνει τις προτάσεις που συμβάλλουν περισσότερο στη βαθμολογία στο Advanced Scan, όχι κάθε πρόταση που συνδέεται με αυτήν

Κανένα από αυτά τα στοιχεία αναφοράς δεν υπήρχε στη σημερινή του μορφή όταν το επεξηγηματικό κείμενο για το perplexity και το burstiness ήταν ακόμη η δημόσια περιγραφή του GPTZero για τον εαυτό του. Η διεπαφή άλλαξε παράλληλα με τη μέθοδο.

Γιατί η περιγραφή για το Perplexity και το Burstiness εξακολουθεί να κυκλοφορεί

Το αρχικό επεξηγηματικό κείμενο του GPTZero εξακολουθεί να είναι online, εξακολουθεί να έχει ευρετηριαστεί και εξακολουθεί να αποτελεί μία από τις σαφέστερες γενικές περιγραφές του πώς λειτουργούν το perplexity και το burstiness ως έννοιες. Οι μηχανές αναζήτησης και άλλοι ιστότοποι συνεχίζουν να το παραπέμπουν, και ορισμένοι αναφέρονται σε μια ευρέως διαδεδομένη ανασκόπηση του 2026 που ισχυρίζεται ότι το εργαλείο εξακολουθεί να εκτελεί αθόρυβα ένα επίπεδο perplexity και burstiness παράλληλα με τον ταξινομητή του. Οι τρέχουσες σελίδες του GPTZero, η σελίδα τεχνολογίας και τα δύο άρθρα υποστήριξης, λένε το αντίθετο, οι όροι αποσύρθηκαν, όχι απλώς αποκρύφθηκαν στο παρασκήνιο. Μια σελίδα που περιγράφει μια έννοια σε αφηρημένο επίπεδο δεν είναι το ίδιο με μια σελίδα που περιγράφει τη σημερινή μέθοδο αυτού του εργαλείου, και η αντιμετώπιση των δύο ως εναλλάξιμων είναι σε μεγάλο βαθμό ο λόγος για τον οποίο η σύγχυση έχει διαρκέσει τρία χρόνια πέρα από την ημερομηνία λήξης της.

Αυτό έχει σημασία πέρα από την απλή περιέργεια. Ένας φοιτητής ή συνάδελφος που του λένε να μειώσει την perplexity ή να απλώσει το μήκος των προτάσεων ειδικά για να ξεγελάσει το GPTZero, λαμβάνει συμβουλές που στοχεύουν σε μια εκδοχή του προϊόντος η οποία έπαψε να λειτουργεί το 2023. Αυτό που κινεί έναν ταξινομητή προτάσεων είναι ένα συγγενές αλλά διαφορετικό ερώτημα, πιο κοντά στη γενικότερη περιγραφή του πώς λειτουργούν στην πράξη οι ανιχνευτές AI παρά σε καθεμία από αυτές τις στατιστικές ξεχωριστά. Το GPTZero δεν έχει σταματήσει να τις μετρά, σύμφωνα με το ίδιο, απλώς αυτές συγκαταλέγονται πλέον μεταξύ επτά δεικτών που τροφοδοτούν το τρέχον μοντέλο, αλλά έπαψαν να είναι το στοιχείο που καθορίζει την απάντηση.

Τι λέει το GPTZero ότι δεν μπορεί να κάνει

Τα δηλωμένα ποσοστά ακρίβειας του GPTZero είναι περίπου τόσο ισχυρά όσο θα ήταν αναμενόμενο να δημοσιεύσει ένας προμηθευτής για το ίδιο του το προϊόν, 96.5 percent ακρίβεια σε μικτά έγγραφα, συνολικό ποσοστό ψευδώς θετικών που η εταιρεία το ανώτατο όριο του στο 1 percent, και 1.1 percent ειδικά για εκθέσεις TOEFL, ένα συνηθισμένο υποκατάστατο για γραφή στα αγγλικά από μη φυσικούς ομιλητές. Αυτοί οι αριθμοί προέρχονται από τη δική του αξιολόγηση του GPTZero, χωρίς να αναφέρεται στην σελίδα κάποια ανεξάρτητη αναπαραγωγή τους.

Η δική του σελίδα περιορισμών του GPTZero είναι πιο συγκεκριμένη από τα διαφημιστικά στοιχεία. Η εταιρεία δηλώνει ότι η ακρίβεια βελτιώνεται όσο υποβάλλεται περισσότερο κείμενο και μειώνεται στο επίπεδο της πρότασης και της παραγράφου σε σύγκριση με το πλήρες έγγραφο. Δηλώνει ότι τα δεδομένα εκπαίδευσής της είναι κυρίως πεζός λόγος ενηλίκων στα αγγλικά, επομένως το κείμενο που αποκλίνει από αυτό το πρότυπο είναι δυσκολότερο να ταξινομηθεί αξιόπιστα. Δηλώνει ότι ο ταξινομητής δεν έχει εκπαιδευτεί να εντοπίζει κείμενο AI που έχει τροποποιηθεί σε μεγάλο βαθμό μετά τη δημιουργία του. Και δηλώνει ρητά ότι και άλλος κείμενος παραγόμενος από μηχανή ή ιδιαίτερα διαδικαστικός λόγος, όχι μόνο το αποτέλεσμα chatbot, μπορεί να επισημανθεί με τον ίδιο τρόπο.

Τίποτε από αυτά δεν αποτελεί λόγο να αντιμετωπίζεται ο αριθμός του GPTZero ως πέρα από αμφισβήτηση, και δεν είναι ο μόνος ανιχνευτής που αξίζει να κατανοηθεί με τους δικούς του όρους. Οι αναγνώστες που είναι περίεργοι για το τι ακριβώς ανταποκρίνεται ένας ταξινομητής όπως αυτός μπορούν να δουν μόνοι τους μια εκδοχή αυτού του μοτίβου με έναν δωρεάν ελεγκτή perplexity ή έναν δωρεάν ελεγκτή burstiness, δύο στοιχεία μιας πληρέστερης συλλογής δωρεάν εργαλείων που καλύπτει τα άλλα στατιστικά επίπεδα στα οποία βασίζεται μια αναφορά σαν αυτή.

Οι δύο βασικές στατιστικές του GPTZero έχουν δικές τους σελίδες: τι μετρά το perplexity στην ανίχνευση AI, και την αριθμητική της πιθανότητας των token που παράγει και τους δύο αριθμούς.

Ένα εργαλείο που είναι πρόθυμο να ονομάσει τόσο ακριβώς τα δικά του τυφλά σημεία αξίζει μεγαλύτερη εμπιστοσύνη από ένα που ισχυρίζεται ότι δεν έχει κανένα, και το επόμενο ανεξήγητο ποσοστό σε μια αναφορά είναι ένα καλό σημείο για να αρχίσει κανείς να ρωτά ποιο είδος εργαλείου το παρήγαγε.