Οι ανιχνευτές AI εξακολουθούν να βασίζονται σε perplexity και burstiness;

Αναζητήστε πώς το GPTZero ανιχνεύει σήμερα τη γραφή AI και τα περισσότερα αποτελέσματα εξακολουθούν να επικεντρώνονται σε δύο στατιστικά μεγέθη, την perplexity και την burstiness, το ζεύγος που έκανε το εργαλείο διάσημο μέσα σε λίγες εβδομάδες από την κυκλοφορία του τον Ιανουάριο του 2023. Η ίδια η τεκμηρίωση υποστήριξης του GPTZero αναφέρει πλέον κάτι διαφορετικό, ότι σταμάτησε να χρησιμοποιεί και τα δύο το φθινόπωρο του ίδιου έτους.

Άρα χρησιμοποιείται ακόμη η burstiness από τους ανιχνευτές AI; Όχι από το εργαλείο που έκανε τον όρο οικείο στις ακαδημαϊκές κοινότητες. Το κέντρο υποστήριξης του GPTZero δηλώνει ρητά ότι δεν χρησιμοποιεί πλέον ούτε perplexity ούτε burstiness, έχοντας μεταβεί αντ' αυτού σε αρχιτεκτονική βαθιάς μάθησης. Το Turnitin, το εργαλείο που οι περισσότεροι φοιτητές συναντούν στην πράξη, δεν έχει δημοσιεύσει ποτέ κανέναν από τους δύο όρους ως μέρος της μεθόδου του εξαρχής. Οι έννοιες δεν έχουν εξαφανιστεί από τη συζήτηση. Έχουν εξαφανιστεί από τα προϊόντα που κάνουν την πραγματική ανίχνευση.

Χρησιμοποιείται ακόμη η Burstiness από τους ανιχνευτές AI;

Όχι, όχι από το GPTZero, και όχι με αυτό το όνομα. Η ίδια η τεκμηρίωση υποστήριξης του GPTZero το λέει άμεσα: "As of autumn 2023, GPTZero no longer uses perplexity and burstiness for its AI detection because we migrated to a deep-learning based architecture." Οι δικοί οδηγοί του Turnitin περιγράφουν και πάλι μια διαφορετική μέθοδο, δομημένη γύρω από τη βαθμολόγηση τμημάτων μιας υποβολής με έναν εκπαιδευμένο ταξινομητή, και ούτε εκεί εμφανίζεται πουθενά κανένας από τους δύο όρους. Τα δύο στατιστικά μεγέθη που καθόρισαν το πρώτο κύμα ανίχνευσης AI δεν είναι αυτό που εκτελούν σήμερα τα κορυφαία εργαλεία. Αυτό είναι πιο περιορισμένο από το να πούμε ότι απορρίφθηκαν, η δική του επεξηγηματική σελίδα του GPTZero εξακολουθεί να τα κατατάσσει ανάμεσα σε επτά δείκτες που τροφοδοτούν το μοντέλο του. Σταμάτησαν να αποτελούν τη μέθοδο χωρίς να πάψουν να είναι μέτρηση, και η διαφορά ανάμεσα σε αυτούς τους δύο ισχυρισμούς είναι σε μεγάλο βαθμό το ζήτημα στο οποίο ανάγεται αυτή η ερώτηση.

Τι άλλαξε το φθινόπωρο του 2023

Οι δύο όροι δεν ήταν ποτέ ασαφείς. Ο ίδιος ο πρώιμος επεξηγηματικός οδηγός του GPTZero όριζε το perplexity ως «ένα μέτρο του πόσο πιθανό θα ήταν ένα μοντέλο AI να είχε επιλέξει ακριβώς το ίδιο σύνολο λέξεων όπως αυτό που βρίσκεται στο έγγραφο», και το burstiness ως «ένα μέτρο του πόσο ποικίλλουν τα πρότυπα γραφής και οι τιμές perplexity του κειμένου σε ολόκληρο το έγγραφο», δηλαδή ως στατιστικό σε επίπεδο εγγράφου, όχι ως απλό μέτρημα μήκους προτάσεων. Και οι δύο ορισμοί εξακολουθούν να δημοσιεύονται στον ιστότοπο του GPTZero. Αυτό που άλλαξε είναι ποιο από τα δύο εκτελεί πράγματι ο ανιχνευτής.

Η φράση «Migrated to a deep-learning based architecture» είναι συγκεκριμένος ισχυρισμός, όχι διαφημιστική διατύπωση, και περιγράφει μια πραγματική αλλαγή ως προς το είδος. Ένα σκορ perplexity υπολογίζεται απευθείας από έναν τύπο, περνάτε το κείμενο από ένα μοντέλο γλώσσας αναφοράς, υπολογίζετε τον μέσο όρο των πιθανοτήτων λογαρίθμου, και εκθετοποιείτε το αποτέλεσμα. Αντίθετα, ένας ταξινομητής deep-learning εκπαιδεύεται, του δείχνουν μεγάλους αριθμούς παραδειγμάτων ανθρώπινης γραφής και γραφής AI μέχρι να μάθει, μόνος του, όποιον συνδυασμό χαρακτηριστικών διαχωρίζει τους δύο σωρούς σε εκείνα τα δεδομένα εκπαίδευσης. Κανείς δεν γράφει με το χέρι τον κανόνα στη δεύτερη προσέγγιση. Το μοντέλο τον βρίσκει.

Και οι δύο παρωχημένοι όροι εξηγούνται πλήρως αλλού σε αυτόν τον ιστότοπο: τι μετρά πραγματικά το perplexity και τι μετρά πραγματικά το burstiness καλύπτουν το καθένα σε βάθος τη δική του μηχανική, συμπεριλαμβανομένων των τύπων που τα στηρίζουν. Το παρόν κείμενο περιορίζεται αυστηρά στο αν κάποιο από τα δύο είναι ακόμη αυτό που εκτελεί ένας ανιχνευτής σήμερα.

Τι Τεκμηριώνουν Πραγματικά Σήμερα το GPTZero και το Turnitin

Η τρέχουσα σελίδα τεχνολογίας του GPTZero, η οποία περιγράφει τι διατίθεται στο προϊόν, αναφέρει ότι ο ανιχνευτής τους είναι μια «end-to-end deep learning approach», με ένα «sentence-by-sentence classification model» που παράγει έξοδο πιθανότητας με βαθμολογία εμπιστοσύνης. Το perplexity και το burstiness δεν εμφανίζονται πουθενά σε εκείνη τη σελίδα, ούτε ως συστατικό, ούτε ως παλαιό χαρακτηριστικό, ούτε σε υποσημείωση.

Η τεκμηρίωση του Turnitin δεν είχε ποτέ εξαρχής σχεδιαστεί γύρω από κανέναν από τους δύο όρους. Οι οδηγοί του περιγράφουν μια υποβολή χωρισμένη σε τμήματα λίγων εκατοντάδων λέξεων, με κάθε τμήμα να βαθμολογείται από ένα εκπαιδευμένο μοντέλο και τις βαθμολογίες των τμημάτων να υπολογίζονται ως μέσος όρος ώστε να προκύψει το ενιαίο ποσοστό που εμφανίζει μια αναφορά. Αυτό είναι ένας επιβλεπόμενος ταξινομητής που λειτουργεί σε τμήματα κειμένου, της ίδιας οικογένειας μεθόδου στην οποία έχει στραφεί το GPTZero, όχι ένας υπολογισμός perplexity και όχι ένας υπολογισμός burstiness με διαφορετικό όνομα.

Η μετατόπιση φαίνεται πιο εύκολα παραθέτοντας τα δύο δίπλα δίπλα.

	Τι περιέγραφαν οι πρώιμες επεξηγήσεις (2023)	Τι περιγράφει η τρέχουσα τεκμηρίωση
GPTZero	Perplexity και burstiness, βαθμολογημένα σε σχέση με ένα μοντέλο αναφοράς	Ένας ταξινομητής βαθιάς μάθησης, σε επίπεδο πρότασης, που αποδίδει μια πιθανότητα και μια βαθμολογία εμπιστοσύνης
Turnitin	Δεν δημοσιεύτηκε ποτέ, οι όροι δεν εμφανίζονται σε κανένα σημείο στα ίδια τα υλικά του Turnitin	Τμήματα λίγων εκατοντάδων λέξεων που βαθμολογούνται από έναν εκπαιδευμένο ταξινομητή, και στη συνέχεια υπολογίζονται ως μέσος όρος σε ένα ποσοστό

Γιατί οι Έννοιες Εξακολουθούν να Εξηγούν την Ανιχνευσιμότητα

Τίποτε από αυτά δεν καθιστά το perplexity και το burstiness λανθασμένα, μόνο ξεπερασμένα ως περιγραφή του τρέχοντος μηχανισμού. Και οι δύο έννοιες περιέγραφαν πάντοτε κάτι πραγματικό: Το κείμενο που παράγεται με δειγματοληψία προς τις συνεχίσεις με τη μεγαλύτερη πιθανότητα ενός μοντέλου τείνει να είναι πιο προβλέψιμο, λέξη προς λέξη, από το κείμενο που γράφει ένας άνθρωπος από την αρχή, και τείνει να παρουσιάζει μικρότερη μεταβολή από πρόταση σε πρόταση. Η υποκείμενη κανονικότητα δεν έχει αλλάξει επειδή ένας προμηθευτής άλλαξε την αρχιτεκτονική του ανιχνευτή του. Αυτό που άλλαξε είναι ο τρόπος με τον οποίο ο ανιχνευτής αναζητά αυτή την κανονικότητα.

Ο εκπαιδευμένος ταξινομητής δεν καλείται ρητά να αναζητήσει perplexity ή burstiness. Αντίθετα, εκπαιδεύεται στην ίδια βασική διάκριση μεταξύ ανθρώπινου και μηχανικού κειμένου που οι δύο αυτές στατιστικές σχεδιάστηκαν να αποτυπώσουν. Και φαίνεται εξαιρετικά απίθανο ένας ταξινομητής εκπαιδευμένος να διακρίνει τους δύο σωρούς να μην εστίαζε επίσης ακριβώς σε αυτήν την κανονικότητα, μία από τις πιο αξιόπιστες διαφορές μεταξύ των δύο. Πρόκειται για συμπέρασμα σχετικά με το γιατί ο ταξινομητής πιθανότατα λειτουργεί, όχι για ισχυρισμό σχετικά με τον δημοσιευμένο κατάλογο χαρακτηριστικών του, και τα δύο πρέπει να παραμένουν διακριτά.

Ανεξάρτητη έρευνα στηρίζει την ιδέα ότι η υποκείμενη στατιστική εξακολουθεί να έχει ισχύ, ακόμη και πέρα από το προϊόν οποιουδήποτε μεμονωμένου προμηθευτή. Το DetectGPT, μια ακαδημαϊκή μέθοδος zero-shot που δημοσιεύθηκε το 2023, εξετάζει ένα στενό συγγενές της perplexity, το πόσο απότομα καμπυλώνει η συνάρτηση log-probability ενός μοντέλου γύρω από ένα απόσπασμα, και φτάνει σε 0.95 AUROC σε ένα benchmark έναντι 0.81 για το καλύτερο προηγούμενο zero-shot baseline, χωρίς να εκπαιδεύει καθόλου ταξινομητή σε επισημασμένα παραδείγματα. Η βασική ιδέα, ότι το κείμενο που παράγεται από μηχανή βρίσκεται σε στατιστικά διακριτή περιοχή του ίδιου του χώρου πιθανοτήτων ενός μοντέλου, εξακολουθεί να αποτελεί ενεργό πεδίο έρευνας. Απλώς δεν είναι αυτό που το GPTZero διαθέτει στους χρήστες.

Γιατί Τόσο Μεγάλο Μέρος του Διαδικτύου Εξακολουθεί να Το Κάνει Λάθος

Οι περισσότερες δημοσιευμένες εξηγήσεις για το πώς λειτουργεί η ανίχνευση AI γράφτηκαν κατά τη διάρκεια ή λίγο μετά την κυκλοφορία του GPTZero τον Ιανουάριο του 2023, όταν η perplexity και η burstiness ήταν το μόνο δημόσιο πλαίσιο που προσέφερε η ίδια η εταιρεία. Αυτές οι αρχικές σελίδες επεξήγησης παραμένουν ακόμη ενεργές σήμερα. Η ειδοποίηση απόσυρσης του φθινοπώρου του 2023 βρίσκεται σε ξεχωριστή σελίδα υποστήριξης και όχι ενσωματωμένη σε αυτές, έτσι ώστε ένας συγγραφέας που διάβασε την πρώτη σελίδα και σταμάτησε την έρευνα δεν θα είχε κανέναν λόγο να γνωρίζει ότι η μέθοδος άλλαξε λιγότερο από έναν χρόνο αργότερα.

Μια κριτική ανιχνευτή τρίτου μέρους που κυκλοφορεί το 2026 ισχυρίζεται ότι το GPTZero εξακολουθεί να χρησιμοποιεί την perplexity και την burstiness ως ένα επίπεδο ανάμεσα σε πολλά μέσα σε ένα ευρύτερο σύστημα. Ο ισχυρισμός αυτός έρχεται σε άμεση αντίθεση με την τρέχουσα σελίδα τεχνολογίας του ίδιου του GPTZero και με τη δική του τεκμηρίωση υποστήριξης, και τίποτε στον ιστότοπο του GPTZero δεν τον επιβεβαιώνει. Μια εταιρεία που περιγράφει το δικό της προϊόν όπως έχει ήδη διατεθεί υπερισχύει ακόμη μιας μη τεκμηριωμένης αξίωσης τρίτου μέρους για το ίδιο προϊόν, παρότι και η τεκμηρίωση του προμηθευτή μπορεί επίσης να είναι λανθασμένη. Το παρόν κείμενο ακολουθεί τις δικές του σελίδες του GPTZero και όχι την κριτική που επαναλαμβάνει την παλαιότερη εκδοχή.

Τι σημαίνει αυτό για τον τρόπο που γράφετε

Η πρακτική καθοδήγηση που βασίζεται στην burstiness δεν έχει καταστεί άχρηστη μόνο και μόνο επειδή η λέξη εξαφανίστηκε από τα δικά του υλικά του GPTZero. Η σκόπιμη μεταβολή του μήκους των προτάσεων εξακολουθεί, μηχανικά, να αποτελεί επιχείρημα υπέρ της αποφυγής της ίδιας στατιστικής ομοιομορφίας που ένας ταξινομητής είναι πολύ πιθανό να έχει εκπαιδευτεί να εντοπίζει, όποιο όνομα κι αν δίνει εσωτερικά σε αυτό το σήμα. Η υποκείμενη συμβουλή επέζησε της αλλαγής αρχιτεκτονικής του προμηθευτή, παρότι το λεξιλόγιο που την περιέγραφε δεν επέζησε.

Τίποτε από αυτά δεν απαιτεί να δεχθείτε τον λόγο κανενός, συμπεριλαμβανομένου και του παρόντος κειμένου. Το δωρεάν εργαλείο ελέγχου perplexity του TextPulse και η ευρύτερη συλλογή δωρεάν εργαλείων σάς επιτρέπουν να δείτε πού βρίσκεται το δικό σας προσχέδιο πριν το κάνει αυτό ένας ανιχνευτής, οποιασδήποτε γενιάς.

Αν η απάντηση σάς επιστρέφει στο δικό σας κείμενο, τα πρακτικά επόμενα βήματα είναι η σκόπιμη αύξηση της burstiness και η μεταβολή του μήκους των προτάσεων μέσα σε μια ακαδημαϊκή παράγραφο, που είναι η ίδια εργασία διατυπωμένη χωρίς τη μέτρηση.

Ο μηχανισμός που εκτελεί ένας ανιχνευτής θα συνεχίσει να αλλάζει, το GPTZero τον έχει ήδη αλλάξει μία φορά. Αυτό που παραμένει σταθερό είναι το πραγματικό ερώτημα, το οποίο καλύπτεται πλήρως στον οδηγό αυτού του ιστότοπου για το πώς λειτουργούν πραγματικά οι ανιχνευτές AI: αν η προβλέψιμη γραφή είναι το ίδιο πράγμα με τη γραφή που έχει παραχθεί από μηχανή, ανεξάρτητα από το ποιος τύπος τυχαίνει να είναι της μόδας σε ένα δεδομένο έτος.