Οι ανιχνευτές AI εξακολουθούν να βασίζονται στην περιπλοκότητα και την εκρηκτικότητα;

Αναζητήστε πώς το GPTZero ανιχνεύει σήμερα τη γραφή AI και τα περισσότερα από όσα εμφανίζονται εξακολουθούν να επικεντρώνονται σε δύο στατιστικά, την perplexity και την burstiness, το ζεύγος που έκανε το εργαλείο διάσημο μέσα σε λίγες εβδομάδες από την κυκλοφορία του τον Ιανουάριο του 2023. Η ίδια η τεκμηρίωση υποστήριξης του GPTZero αναφέρει πλέον κάτι διαφορετικό, ότι έπαψε να χρησιμοποιεί και τα δύο το φθινόπωρο του ίδιου έτους.

Άρα χρησιμοποιείται ακόμη η burstiness από τους ανιχνευτές AI; Όχι από το εργαλείο που έκανε τον όρο κοινό σε ακαδημαϊκούς κύκλους. Το κέντρο υποστήριξης του GPTZero δηλώνει ρητά ότι δεν χρησιμοποιεί πλέον ούτε perplexity ούτε burstiness, καθώς έχει στραφεί σε μια αρχιτεκτονική βαθιάς μάθησης. Το Turnitin, το εργαλείο που οι περισσότεροι φοιτητές συναντούν στην πράξη, δεν έχει δημοσιεύσει ποτέ κανέναν από τους δύο όρους ως μέρος της μεθόδου του εξαρχής. Οι έννοιες δεν έχουν εξαφανιστεί από τη συζήτηση. Έχουν εξαφανιστεί από τα προϊόντα που κάνουν την πραγματική ανίχνευση.

Χρησιμοποιείται ακόμη η Burstiness από τους ανιχνευτές AI;

Όχι, όχι από το GPTZero, και όχι με αυτό το όνομα. Η ίδια η τεκμηρίωση υποστήριξης του GPTZero το λέει άμεσα: "As of autumn 2023, GPTZero no longer uses perplexity and burstiness for its AI detection because we migrated to a deep-learning based architecture." Οι ίδιοι οδηγοί του Turnitin περιγράφουν μια διαφορετική μέθοδο, η οποία βασίζεται στη βαθμολόγηση τμημάτων μιας υποβολής με έναν εκπαιδευμένο ταξινομητή, και κανένας από τους δύο όρους δεν εμφανίζεται πουθενά ούτε σε εκείνη την τεκμηρίωση. Τα δύο στατιστικά που καθόρισαν το πρώτο κύμα ανίχνευσης AI δεν είναι αυτό που εκτελούν σήμερα τα κορυφαία εργαλεία. Αυτό είναι πιο περιορισμένο από το να πούμε ότι απορρίφθηκαν, το ίδιο το επεξηγηματικό κείμενο του GPTZero εξακολουθεί να τα κατατάσσει μεταξύ επτά δεικτών που τροφοδοτούν το μοντέλο του. Έπαψαν να είναι η μέθοδος χωρίς να πάψουν να είναι μέτρηση, και η διαφορά ανάμεσα σε αυτούς τους δύο ισχυρισμούς είναι σε μεγάλο βαθμό αυτό γύρω από το οποίο περιστρέφεται το ερώτημα.

Τι άλλαξε το φθινόπωρο του 2023

Οι δύο όροι δεν ήταν ποτέ ασαφείς. Ο ίδιος ο πρώιμος επεξηγηματικός οδηγός του GPTZero όριζε το perplexity ως "ένα μέτρο του πόσο πιθανό θα ήταν ένα μοντέλο AI να είχε επιλέξει ακριβώς το ίδιο σύνολο λέξεων όπως αυτό που βρίσκεται στο έγγραφο", και το burstiness ως "ένα μέτρο του πόσο ποικίλλουν τα μοτίβα γραφής και οι perplexities του κειμένου σε ολόκληρο το έγγραφο", ένα στατιστικό σε επίπεδο εγγράφου, όχι μια απλή καταμέτρηση μήκους προτάσεων. Και οι δύο ορισμοί εξακολουθούν να δημοσιεύονται στον ιστότοπο του GPTZero. Αυτό που άλλαξε είναι ποιον από τους δύο εκτελεί στην πράξη ο ανιχνευτής.

Το "Migrated to a deep-learning based architecture" είναι συγκεκριμένος ισχυρισμός, όχι διαφημιστική φράση, και περιγράφει μια πραγματική αλλαγή ως προς το είδος. Ένα σκορ perplexity υπολογίζεται απευθείας από έναν τύπο, εκτελείς το κείμενο μέσω ενός γλωσσικού μοντέλου αναφοράς, υπολογίζεις τον μέσο όρο των πιθανοτήτων λογαρίθμου, και κατόπιν υψώνεις το αποτέλεσμα στη δύναμη του e. Αντίθετα, ένας ταξινομητής deep-learning εκπαιδεύεται, του δείχνουν μεγάλους αριθμούς παραδειγμάτων γραμμένων από ανθρώπους και AI μέχρι να μάθει, μόνος του, όποιον συνδυασμό χαρακτηριστικών διαχωρίζει τους δύο σωρούς σε εκείνα τα δεδομένα εκπαίδευσης. Κανείς δεν γράφει με το χέρι τον κανόνα στη δεύτερη προσέγγιση. Το μοντέλο τον βρίσκει.

Και οι δύο παρωχημένοι όροι εξηγούνται πλήρως αλλού σε αυτόν τον ιστότοπο: τι μετρά πραγματικά το perplexity και τι μετρά πραγματικά το burstiness καλύπτουν το καθένα σε βάθος τους δικούς τους μηχανισμούς, συμπεριλαμβανομένων των τύπων που τα διέπουν. Το παρόν κείμενο παραμένει αυστηρά στο ερώτημα αν κάποιο από τα δύο είναι ακόμη αυτό που εκτελεί σήμερα ένας ανιχνευτής.

Τι τεκμηριώνουν στην πράξη σήμερα το GPTZero και το Turnitin

Η τρέχουσα σελίδα τεχνολογίας του GPTZero, η οποία περιγράφει τι περιλαμβάνεται στο προϊόν, αναφέρει ότι η εταιρεία χρησιμοποιεί "an end-to-end deep learning approach, trained on text datasets from the web, education, and AI-generated from a range of LLMs", στο οποίο "a sentence-by-sentence classification model determines the probability and confidence that a text was created by AI". Το perplexity και το burstiness δεν εμφανίζονται πουθενά σε εκείνη τη σελίδα, ούτε ως συστατικό, ούτε ως παρωχημένο χαρακτηριστικό, ούτε σε υποσημείωση.

Η τεκμηρίωση του Turnitin δεν είχε ποτέ εξαρχής σχεδιαστεί γύρω από κανέναν από τους δύο όρους. Οι οδηγοί του περιγράφουν μια υποβολή χωρισμένη σε τμήματα μερικών εκατοντάδων λέξεων, με κάθε τμήμα να βαθμολογείται από ένα εκπαιδευμένο μοντέλο και τις βαθμολογίες των τμημάτων να υπολογίζονται ως μέσος όρος ώστε να προκύψει το ενιαίο ποσοστό που εμφανίζει μια αναφορά. Πρόκειται για έναν επιβλεπόμενο ταξινομητή που λειτουργεί σε τμήματα κειμένου, της ίδιας οικογένειας μεθόδου στην οποία έχει στραφεί το GPTZero, όχι για υπολογισμό perplexity και όχι για υπολογισμό burstiness με διαφορετικό όνομα.

Η μετατόπιση φαίνεται πιο εύκολα παραπλεύρως.

	Τι περιέγραφαν οι πρώιμες επεξηγήσεις (2023)	Τι περιγράφει η τρέχουσα τεκμηρίωση
GPTZero	Perplexity και burstiness, βαθμολογημένα σε σχέση με ένα μοντέλο αναφοράς	Ένας ταξινομητής βαθιάς μάθησης, ανά πρόταση, που αποδίδει πιθανότητα και βαθμολογία εμπιστοσύνης
Turnitin	Δεν δημοσιεύτηκε ποτέ, οι όροι δεν εμφανίζονται σε κανένα σημείο στο υλικό του Turnitin	Τμήματα μερικών εκατοντάδων λέξεων που βαθμολογούνται από έναν εκπαιδευμένο ταξινομητή, και κατόπιν υπολογίζονται ως μέσος όρος σε ένα ποσοστό

Γιατί οι Έννοιες Εξακολουθούν να Εξηγούν την Ανιχνευσιμότητα

Τίποτε από αυτά δεν καθιστά το perplexity και το burstiness λανθασμένα, μόνο ξεπερασμένα ως περιγραφή του τρέχοντος μηχανισμού. Και οι δύο έννοιες περιέγραφαν πάντοτε κάτι πραγματικό: Το κείμενο που παράγεται με δειγματοληψία προς τις υψηλότερης πιθανότητας συνεχίσεις του ίδιου του μοντέλου τείνει να είναι πιο προβλέψιμο, λέξη προς λέξη, από το κείμενο που γράφει ένα άτομο από την αρχή, και τείνει να παρουσιάζει μικρότερη μεταβολή από πρόταση σε πρόταση. Η υποκείμενη κανονικότητα δεν έχει αλλάξει επειδή ένας προμηθευτής άλλαξε την αρχιτεκτονική του ανιχνευτή του. Αυτό που άλλαξε είναι ο τρόπος με τον οποίο ο ανιχνευτής αναζητά αυτήν την κανονικότητα.

Ο εκπαιδευμένος ταξινομητής δεν καλείται ρητά να αναζητήσει την perplexity ή τη burstiness. Αντίθετα, εκπαιδεύεται στην ίδια βασική διάκριση ανάμεσα σε ανθρώπινο και μηχανικό κείμενο που αυτές οι δύο στατιστικές σχεδιάστηκαν να αποτυπώσουν. Και φαίνεται εξαιρετικά απίθανο ένας ταξινομητής που εκπαιδεύτηκε να διακρίνει τους δύο σωρούς να μην εστιάζει ακριβώς σε αυτή την κανονικότητα, μία από τις πιο αξιόπιστες διαφορές ανάμεσα στους δύο, επίσης. Αυτό είναι ένα συμπέρασμα για το γιατί ο ταξινομητής πιθανότατα λειτουργεί, όχι ένας ισχυρισμός για τον δημοσιευμένο κατάλογο χαρακτηριστικών του, και τα δύο πρέπει να παραμένουν διακριτά.

Ανεξάρτητη έρευνα στηρίζει την ιδέα ότι η υποκείμενη στατιστική εξακολουθεί να έχει ισχύ, ακόμη και πέρα από το προϊόν οποιουδήποτε μεμονωμένου προμηθευτή. DetectGPT, μια ακαδημαϊκή μέθοδος zero-shot που δημοσιεύτηκε το 2023, εξετάζει ένα στενό συγγενές της perplexity, το πόσο απότομα καμπυλώνει η συνάρτηση λογαριθμικής πιθανότητας ενός μοντέλου γύρω από ένα απόσπασμα, και φτάνει σε 0.95 AUROC σε ένα benchmark έναντι 0.81 για το καλύτερο προηγούμενο zero-shot baseline, χωρίς να εκπαιδεύει καθόλου έναν ταξινομητή σε επισημασμένα παραδείγματα. Η βασική ιδέα, ότι το κείμενο που παράγεται από μηχανή βρίσκεται σε μια στατιστικά διακριτή περιοχή του ίδιου του χώρου πιθανοτήτων ενός μοντέλου, παραμένει ενεργό πεδίο έρευνας. Απλώς δεν είναι αυτό που το GPTZero διαθέτει στους χρήστες.

Γιατί Τόσο Μεγάλο Μέρος του Διαδικτύου Συνεχίζει να Το Κάνει Λάθος

Οι περισσότερες δημοσιευμένες εξηγήσεις για το πώς λειτουργεί η ανίχνευση AI γράφτηκαν κατά τη διάρκεια ή λίγο μετά την κυκλοφορία του GPTZero τον Ιανουάριο του 2023, όταν η perplexity και η burstiness ήταν το μόνο δημόσιο πλαίσιο που προσέφερε η ίδια η εταιρεία. Αυτές οι αρχικές σελίδες επεξήγησης παραμένουν ακόμη ενεργές σήμερα. Η ειδοποίηση απόσυρσης του φθινοπώρου του 2023 βρίσκεται σε ξεχωριστή σελίδα υποστήριξης, αντί να έχει ενσωματωθεί σε αυτές, οπότε ένας συγγραφέας που διάβασε την πρώτη σελίδα και σταμάτησε την έρευνα δεν θα είχε κανέναν λόγο να γνωρίζει ότι η μέθοδος άλλαξε λιγότερο από έναν χρόνο αργότερα.

Μια κριτική ανιχνευτή τρίτου μέρους που κυκλοφορεί το 2026 ισχυρίζεται ότι το GPTZero εξακολουθεί να χρησιμοποιεί την perplexity και την burstiness ως ένα επίπεδο ανάμεσα σε πολλά μέσα σε ένα ευρύτερο σύστημα. Ο ισχυρισμός αυτός έρχεται σε άμεση αντίθεση με την τρέχουσα σελίδα τεχνολογίας του ίδιου του GPTZero και με τη δική του τεκμηρίωση υποστήριξης, και τίποτε στον ίδιο τον ιστότοπο του GPTZero δεν τον επιβεβαιώνει. Μια εταιρεία που περιγράφει το δικό της προϊόν όπως αυτό έχει ήδη διατεθεί στην αγορά υπερισχύει ακόμη μιας μη επιβεβαιωμένης αξίωσης τρίτου μέρους για το ίδιο προϊόν, παρότι και η τεκμηρίωση του προμηθευτή μπορεί επίσης να είναι λανθασμένη. Το παρόν κείμενο ακολουθεί τις δικές του σελίδες του GPTZero και όχι την κριτική που επαναλαμβάνει την παλαιότερη εκδοχή.

Τι σημαίνει αυτό για τον τρόπο που γράφετε

Η πρακτική καθοδήγηση που βασίζεται στην burstiness δεν έχει καταστεί άχρηστη μόνο και μόνο επειδή η λέξη εξαφανίστηκε από τα ίδια τα υλικά του GPTZero. Η σκόπιμη μεταβολή του μήκους των προτάσεων εξακολουθεί να αποτελεί, μηχανικά, ένα επιχείρημα υπέρ της αποφυγής της ίδιας στατιστικής ομοιομορφίας που ένας ταξινομητής είναι πολύ πιθανό να έχει εκπαιδευτεί να εντοπίζει, όποιο όνομα κι αν δίνει εσωτερικά σε αυτό το σήμα. Η υποκείμενη συμβουλή επέζησε της αλλαγής στην αρχιτεκτονική του προμηθευτή, παρότι το λεξιλόγιο που την περιέγραφε δεν επέζησε.

Τίποτε από αυτά δεν απαιτεί να δεχθείτε τον λόγο κανενός ως δεδομένο, συμπεριλαμβανομένου και του παρόντος κειμένου. Το δωρεάν perplexity checker του TextPulse και η ευρύτερη συλλογή δωρεάν εργαλείων σάς επιτρέπουν να δείτε πού βρίσκεται το δικό σας προσχέδιο απέναντι σε έναν ανιχνευτή, οποιασδήποτε γενιάς, πριν το κάνει αυτός.

Αν η απάντηση σάς επιστρέφει στο δικό σας κείμενο, τα πρακτικά επόμενα βήματα είναι η σκόπιμη αύξηση της burstiness και η μεταβολή του μήκους των προτάσεων σε μια ακαδημαϊκή παράγραφο, που είναι η ίδια εργασία διατυπωμένη χωρίς τη μέτρηση.

Ο μηχανισμός που εκτελεί ένας ανιχνευτής θα συνεχίσει να αλλάζει, το GPTZero τον έχει ήδη αλλάξει μία φορά. Αυτό που παραμένει σταθερό είναι το πραγματικό ερώτημα, το οποίο καλύπτεται πλήρως στον οδηγό αυτού του ιστότοπου για το πώς λειτουργούν στην πραγματικότητα οι ανιχνευτές AI: αν η προβλέψιμη γραφή είναι το ίδιο πράγμα με τη γραφή που έχει παραχθεί από μηχανή, ανεξάρτητα από το ποιος τύπος τυχαίνει να είναι της μόδας σε ένα δεδομένο έτος.