Πώς λειτουργούν οι ανιχνευτές AI; Αμηχανία, εκρηκτικότητα και πιθανότητα token

Το πανεπιστήμιό σας έχει αρχίσει να περνά τις υποβολές από έναν ανιχνευτή AI, και έχει επιστρέψει μια αναφορά με έναν αριθμό που δεν περιμένατε. Πριν προσπαθήσετε να τον αμφισβητήσετε, είναι χρήσιμο να ξέρετε τι σημαίνει αυτός ο αριθμός. Πώς λειτουργούν οι ανιχνευτές AI; Δεν διαβάζουν τη μηχανική γραφή όπως το κάνει ένας άνθρωπος. Μετρούν πόσο προβλέψιμο είναι το κείμενό σας για ένα γλωσσικό μοντέλο, και έπειτα μετατρέπουν αυτή την προβλεψιμότητα σε μια βαθμολογία. Τίποτα σε αυτή τη διαδικασία δεν εξετάζει τι εννοείτε, το επιχείρημά σας, ή αν γράψατε πράγματι το κείμενο.

Έχω περάσει χρόνια αναπτύσσοντας εργαλεία που αναλύουν στατιστικά το κείμενο, και το πιο χρήσιμο πράγμα που πρέπει να κατανοήσει κανείς για την ανίχνευση είναι το εξής, πρόκειται για μέτρηση της τυπικότητας, όχι της προέλευσης. Μόλις αυτό γίνει κατανοητό, τόσο η τεχνολογία όσο και οι αποτυχίες της βγάζουν πολύ περισσότερο νόημα.

Τι μετρά στην πραγματικότητα ένας ανιχνευτής

Ένας ανιχνευτής δεν ξέρει ποιος έγραψε οτιδήποτε. Αυτό που έχει είναι ένα γλωσσικό μοντέλο και μια συνάρτηση βαθμολόγησης. Το μοντέλο διαβάζει το κείμενό σας από αριστερά προς τα δεξιά, και σε κάθε σημείο παράγει μια κατανομή πιθανοτήτων για το ποια λέξη πρέπει να ακολουθήσει. Δώστε του τις λέξεις "the results of the" και θα κατατάξει το "study" υψηλότερα, το "experiment" λίγο χαμηλότερα, και το "marmalade" κάπου κοντά στο μηδέν.

Έτσι, ο ανιχνευτής θέτει ένα ερώτημα στο έγγραφό σας, πόσο συχνά επέλεξε αυτό το κείμενο τη λέξη που περίμενε το μοντέλο; Η γραφή που συνεχώς καταλήγει σε λέξεις υψηλής πιθανότητας μοιάζει κατασκευασμένη από μηχανή, επειδή ακριβώς αυτό κάνει ένας γεννήτορας κειμένου. Το μοντέλο δειγματοληπτεί από την κορυφή της δικής του κατανομής, ξανά και ξανά, για χιλιάδες tokens.

Γι' αυτό ολόκληρη η κατηγορία βρίσκεται σε πιο ασταθές έδαφος από όσο υπονοεί το μάρκετινγκ. Ένας ανιχνευτής δεν εντοπίζει υδατογράφημα ή δακτυλικό αποτύπωμα. Παρατηρεί ότι η πρόζα σας είναι στατιστικά αναμενόμενη, και η μη αναμενόμενη πρόζα έχει πολλές αιτίες πέρα από ένα chatbot.

Περιπλοκότητα: πόσο εκπλήσσεται το μοντέλο

Το βασικό μέτρο ονομάζεται perplexity, κάτι που είναι πιο απλό απ’ όσο ακούγεται. Πάρτε την πιθανότητα που το μοντέλο απέδωσε σε κάθε λέξη που πράγματι εμφανίστηκε, υπολογίστε τον μέσο όρο των λογαρίθμων αυτών των πιθανοτήτων και υψώστε το αποτέλεσμα στη δύναμη του εκθέτη. Αυτό που προκύπτει είναι ένας μοναδικός αριθμός που περιγράφει πόσο εκπλήχθηκε το μοντέλο από το έγγραφό σας. Μπορείτε να ελέγξετε το perplexity του δικού σας προσχεδίου αντί να το μαντεύετε.

Χαμηλό perplexity σημαίνει ότι το κείμενο ακολούθησε εκεί όπου το μοντέλο το περίμενε. Υψηλό perplexity σημαίνει ότι συνέχισε να παίρνει στροφές που το μοντέλο δεν περίμενε. Η ανθρώπινη γραφή τείνει να βρίσκεται ψηλότερα, επειδή οι άνθρωποι καταφεύγουν στο παράξενο, συγκεκριμένο ουσιαστικό, στην ασυνήθιστη σύνταξη, στην πρόταση που αρχίζει από απροσδόκητο σημείο. Το παραγόμενο κείμενο τείνει να βρίσκεται χαμηλότερα, επειδή η διαδικασία αποκωδικοποίησης είναι σχεδιασμένη ώστε να αποφεύγει ακριβώς αυτές τις κινήσεις.

Συγκρίνετε δύο τρόπους να ανοίξετε μια ενότητα μεθόδων. Το "The results of the study were statistically significant" είναι μια ακολουθία που σχεδόν κάθε μοντέλο θα προέβλεπε με υψηλή βεβαιότητα, επειδή δεν μεταφέρει καμία απροσδόκητη πληροφορία. Το "Two of the three cohorts drifted before week six, which we had not planned for" είναι πολύ λιγότερο προβλέψιμο, επειδή μεταφέρει συγκεκριμένη, αδέξια πληροφορία που δεν θα μπορούσε να μαντευτεί από το υπόλοιπο άρθρο. Η δεύτερη πρόταση κοστίζει στον ανιχνευτή πραγματική έκπληξη, και αυτή η έκπληξη είναι αυτό που καταγράφεται ως ανθρώπινο.

Burstiness: η διακύμανση, όχι ο μέσος όρος

Το perplexity από μόνο του δεν αρκεί, επειδή ένα έγγραφο μπορεί να καταλήγει σε έναν απολύτως εύλογο αριθμό, ενώ από κάτω να είναι ύποπτα ομοιόμορφο. Αυτό που έχει σημασία είναι η μεταβολή σε όλο το κείμενό σας, και αυτό ακριβώς μετρά η burstiness, πόσο μεταβάλλονται το μήκος των προτάσεων και το perplexity σε επίπεδο πρότασης καθώς η γραφή προχωρά. Ένας burstiness checker θα σας δείξει άμεσα αυτή την κατανομή.

Επιταχύνουμε όταν είμαστε βέβαιοι και επιβραδύνουμε όταν επιφυλασσόμαστε, και αυτός ο ρυθμός περνά και στην πρόζα. Οι άνθρωποι γράφουν σε εξάρσεις. Μια παράγραφος μπορεί να ανοίγει με μια σύντομη δηλωτική πρόταση οκτώ λέξεων, να περνά σε μια πρόταση τριάντα τεσσάρων λέξεων που περιέχει τρεις προτάσεις και μια παρενθετική φράση, και έπειτα να επιστρέφει σε κάτι σύντομο και ζωηρό.

Η έξοδος του μοντέλου δεν το κάνει αυτό αξιόπιστα. Οι προτάσεις συγκεντρώνονται κοντά στο μέσο μήκος. Οι παράγραφοι εμφανίζονται σε τακτοποιημένες δέσμες. Κάθε ενότητα αρχίζει επαναδιατυπώνοντας τη δική της επικεφαλίδα. Διαβάζεται ομαλά και βαθμολογείται άσχημα, επειδή η χαμηλή διακύμανση μεταξύ προτάσεων είναι ένα από τα ισχυρότερα σήματα που διαθέτει ένας ανιχνευτής. Δεν είναι κάποια μεμονωμένη πρόταση που το προδίδει. Είναι η ομοιομορφία.

Σήμα	Τι μετρά	Γιατί το μηχανικό κείμενο βαθμολογείται χαμηλά
Perplexity	Πόσο εκπλήσσεται το μοντέλο από τις επιλογές των λέξεών σας, κατά μέσο όρο σε όλο το έγγραφο	Η αποκωδικοποίηση δειγματοληπτεί από tokens υψηλής πιθανότητας εκ σχεδιασμού
Burstiness	Πόσο μεταβάλλονται το μήκος των προτάσεων και η προβλεψιμότητα σε όλο το κείμενο	Η έξοδος συγκεντρώνεται κοντά στον μέσο όρο αντί να παρουσιάζει διακυμάνσεις
Token probability	Η ανά λέξη πιθανότητα από την οποία υπολογίζονται τα άλλα δύο	Μεγάλες ακολουθίες μεμονωμένα μη αξιοσημείωτων επιλογών

Η πιθανότητα token και από πού προέρχεται η βαθμολογία

Και οι δύο αυτοί αριθμοί κατασκευάζονται από έναν τρίτο, τη λογαριθμική πιθανοφάνεια ανά token, δηλαδή την πρώτη ύλη από την οποία υπολογίζονται όλα τα υπόλοιπα. Ορισμένα εργαλεία σάς τη δείχνουν άμεσα, επισημαίνοντας τα τμήματα όπου το κείμενό σας ήταν πιο προβλέψιμο. Αυτές οι επισημάνσεις δεν αποτελούν κατηγορίες για συγκεκριμένες προτάσεις, ό,τι κι αν υπονοεί η διεπαφή. Είναι τα μέρη που συνέβαλαν περισσότερο σε έναν αριθμό σε επίπεδο εγγράφου.

Οι ερευνητικές προσεγγίσεις έχουν προχωρήσει πέρα από τα απλά κατώφλια. Το DetectGPT και οι απόγονοί του εξετάζουν την καμπυλότητα, διαταράσσουν ελαφρά το κείμενό σας και ελέγχουν αν η πιθανοφάνεια μειώνεται με το μοτίβο που τείνει να εμφανίζει το παραγόμενο κείμενο. Άλλες μέθοδοι συγκρίνουν το ίδιο απόσπασμα υπό δύο διαφορετικά μοντέλα και χρησιμοποιούν τη διαφωνία ως σήμα.

Μία συνέπεια έχει σημασία για όποιον αξιολογείται. Επειδή οι μετρικές υπολογίζονται σε σχέση με ένα συγκεκριμένο μοντέλο αναφοράς, μια βαθμολογία είναι πάντοτε σχετική με εκείνο το μοντέλο. Δύο ανιχνευτές μπορούν να διαβάσουν την ίδια παράγραφο και να διαφωνήσουν πλήρως, και κανένας από τους δύο δεν δυσλειτουργεί. Απαντούν στην ίδια ερώτηση με διαφορετικά σημεία αναφοράς.

Η δεύτερη συνέπεια αναφέρεται λιγότερο συχνά. Ένα μοντέλο μπορεί να εντοπίσει ένα απόσπασμα ως προβλέψιμο μόνο αν το απόσπασμα μοιάζει με ό,τι χρησιμοποιήθηκε για την εκπαίδευσή του, επομένως η ποιότητα της ανίχνευσης υποβαθμίζεται καθώς διευρύνεται το χάσμα ανάμεσα στο μοντέλο αναφοράς και σε ό,τι παρήγαγε το κείμενο. Νεότερες γεννήτριες, ασυνήθιστοι κλάδοι και γλώσσες άλλες από τα αγγλικά ανοίγουν όλα αυτό το χάσμα. Αυτός είναι ένας από τους λόγους για τους οποίους η ακρίβεια που μετριέται σε ένα ελεγχόμενο benchmark σπάνια αντέχει όταν έρχεται σε επαφή με μια πραγματική στοίβα υποβολών.

Τι προσθέτουν οι εμπορικοί ανιχνευτές από πάνω

Τα εργαλεία που αγοράζουν πράγματι τα ιδρύματα δεν εκτελούν την κλασική perplexity. Το Turnitin, το GPTZero, το Originality και τα υπόλοιπα εκπαιδεύουν επιβλεπόμενους ταξινομητές σε μεγάλα επισημασμένα σύνολα ανθρώπινου και μηχανικού κειμένου, χρησιμοποιώντας στατιστικά χαρακτηριστικά μαζί με υφολογικά. Αυτό που μαθαίνει ο ταξινομητής είναι ό,τι διαχωρίζει αυτές τις δύο στοίβες στα δεδομένα εκπαίδευσής του, κάτι πιο στενό και πιο ιστορικά προσδιορισμένο από το "AI writing" γενικά.

Η εξάρτηση από την εκπαίδευση είναι το σιωπηλό πρόβλημα. Ένας ταξινομητής που εκπαιδεύτηκε κυρίως σε μία γενιά εξόδου μοντέλου πρέπει να γενικεύσει σε νεότερα μοντέλα, σε μη οικείους κλάδους και σε συγγραφείς των οποίων τα αγγλικά δεν μοιάζουν με την κατανομή εκπαίδευσής του. Οι προμηθευτές δημοσιεύουν ποσοστά ακρίβειας από τις δικές τους αξιολογήσεις, και τα ανεξάρτητα benchmarks καταλήγουν συστηματικά πολύ χαμηλότερα από αυτούς τους αριθμούς για τα ίδια εργαλεία.

Πώς να διαβάζετε μια βαθμολογία χωρίς να την υπερερμηνεύετε

Μια αναφορά ανιχνευτή συνήθως εμφανίζεται ως ποσοστό, και αυτό το ποσοστό παρερμηνεύεται συστηματικά. Δεν είναι το ποσοστό του εγγράφου σας που γράφτηκε από μηχανή. Ανάλογα με το εργαλείο, είναι η βεβαιότητα του ταξινομητή ή το ποσοστό των προτάσεων που πέρασαν κάποιο εσωτερικό κατώφλι, και οι προμηθευτές συχνά είναι ασαφείς ως προς το ποιο από τα δύο ισχύει. Δύο αναφορές που δείχνουν και οι δύο εξήντα τοις εκατό μπορεί να σημαίνουν πολύ διαφορετικά πράγματα.

Είναι επίσης χρήσιμο να γνωρίζει κανείς τι μεταβάλλει μια βαθμολογία για λόγους που δεν έχουν καμία σχέση με το ποιος το έγραψε. Τα σύντομα κείμενα είναι πιο θορυβώδη, επειδή υπάρχει λιγότερο κείμενο ώστε οι μέσοι όροι να σταθεροποιηθούν, και μια έκθεση πεντακοσίων λέξεων μπορεί να μεταβληθεί σημαντικά με βάση δύο ή τρεις ασυνήθιστες προτάσεις. Το παρατιθέμενο υλικό μετρά επίσης, εκτός αν το εργαλείο το αφαιρεί, έτσι μια βιβλιογραφική επισκόπηση γεμάτη με αποσπάσματα σε block quotes κληρονομεί την προβλεψιμότητα όσων παραθέτει. Ένα τεχνικό απόσπασμα φορτωμένο με καθιερωμένη ορολογία συμπεριφέρεται με τον ίδιο τρόπο.

Αν βρεθείτε αντιμέτωποι με μια επισήμανση, η χρήσιμη απάντηση είναι τα αποδεικτικά στοιχεία και όχι ένα επιχείρημα σχετικά με τη μετρική. Το ιστορικό εκδόσεων, τα προσχέδια, οι σημειώσεις και τα αρχεία αναζήτησης μιλούν όλα για τη διαδικασία, και η διαδικασία είναι αυτό που μπορεί πράγματι να αξιολογήσει μια επιτροπή παραπτώματος. Δεν υπάρχει κανένα όριο στο οποίο μπορεί να δείξει κανείς και να πει ότι διαχωρίζει έναν προσεκτικό συγγραφέα από ένα μοντέλο.

Γιατί οι ανιχνευτές επισημαίνουν γραφή που δεν παρήγαγε κανένα μοντέλο

Τα ψευδώς θετικά δεν αποτελούν σπάνια δυσλειτουργία. Προκύπτουν άμεσα από τη μέτρηση της τυπικότητας. Κάθε γραφή που είναι πράγματι προβλέψιμη θα λάβει βαθμολογία ως προβλέψιμη, ανεξάρτητα από το ποιος την παρήγαγε.

Οι συγγραφείς που δεν έχουν τα Αγγλικά ως μητρική γλώσσα επηρεάζονται περισσότερο. Ερευνητές του Stanford διαπίστωσαν ότι οι ανιχνευτές κατέταξαν εσφαλμένα ως παραγόμενα από μηχανή ένα μεγάλο ποσοστό εκθέσεων γραμμένων από μη φυσικούς ομιλητές, ενώ κατέταξαν σωστά τις εκθέσεις φυσικών ομιλητών. Ο λόγος είναι μηχανικός και όχι κακόβουλος, οι συγγραφείς που εργάζονται σε δεύτερη γλώσσα τείνουν να βασίζονται σε καθιερωμένες δομές και σε πιο κοινό λεξιλόγιο. Αυτό ακριβώς είναι το προφίλ της χαμηλής perplexity, γι' αυτό οι ESL writers get flagged for writing carefully.

Οι ακαδημαϊκές συμβάσεις προκαλούν το ίδιο πρόβλημα. Μια ενότητα μεθόδων υποτίθεται ότι είναι τυποποιημένη. Η νομική γραφή, η τεχνική τεκμηρίωση και η κλινική αναφορά επιβραβεύουν όλες τη συμβατική διατύπωση περισσότερο από την ευρηματική. Η εκτεταμένη επιμέλεια το επιτείνει ακόμη περισσότερο, αφού το γυάλισμα ενός προσχεδίου συνήθως σημαίνει την αφαίρεση των ανωμαλιών που έφεραν τη στατιστική σας υπογραφή.

Τα ιδρύματα το έχουν προσέξει. Το Vanderbilt απενεργοποίησε τη λειτουργία ανίχνευσης τεχνητής νοημοσύνης του Turnitin αντί να ενεργήσει βάσει βαθμολογιών που δεν μπορούσε να επαληθεύσει, και άλλα πανεπιστήμια έχουν περιορίσει τον τρόπο με τον οποίο οι αριθμοί αυτοί μπορούν να χρησιμοποιηθούν σε διαδικασίες παραπτώματος. Αντιμετωπίστε μια βαθμολογία ανιχνευτή ως ένα αδύναμο στοιχείο τεκμηρίωσης, όχι ως ετυμηγορία.

Τι σημαίνει αυτό για τη δική σας γραφή

Η πρακτική συμβουλή που προκύπτει από τους μηχανισμούς δεν είναι εξωτική, και τίποτε από αυτά δεν αφορά το να χειραγωγήσετε οτιδήποτε. Μεταβάλλετε σκόπιμα το μήκος των προτάσεών σας, επειδή η ομοιομορφία είναι αυτό που καταγράφεται. Διατηρήστε τη συγκεκριμένη λεπτομέρεια, το πραγματικό ποσοστό, τον πραγματικό περιορισμό, το στοιχείο που πήγε στραβά την έκτη εβδομάδα. Η γενική επάρκεια είναι αυτό που βαθμολογείται ως μηχανικά παραγόμενο, και η ειδικότητα είναι ταυτόχρονα καλύτερη γραφή και ισχυρότερο σήμα.

Διατηρήστε και το δικό σας ιδίωμα. Αν έχετε έναν τρόπο να διατυπώνετε τα πράγματα, αφήστε τον να παραμείνει. Το ένστικτο να λειάνετε ένα προσχέδιο μέχρι να ακούγεται όπως κάθε άλλη εργασία στον κλάδο είναι το ένστικτο που μειώνει την perplexity σας.

Ένα πράγμα που πρέπει να αποφύγετε, ορισμένα εργαλεία εισάγουν σκόπιμα γραμματικά λάθη για να αυξήσουν την perplexity. Αυτό λειτουργεί ως προς τη μετρική και είναι πολύ κακή ιδέα για οτιδήποτε βαθμολογείται ή αξιολογείται από ομοτίμους, αφού ανταλλάσσετε μια υποψία με μια βεβαιότητα. Ο στόχος είναι γραφή που διαβάζεται ως δική σας, όχι γραφή που έχει υποστεί σκόπιμη βλάβη. Αυτή είναι όλη η διαφορά ανάμεσα στο να ξαναγράφεις για έναν ανθρώπινο αναγνώστη και στο να αλλοιώνεις το κείμενο για να ξεγελάσεις έναν βαθμολογητή.

Αν θέλετε να δείτε αυτούς τους αριθμούς για το δικό σας προσχέδιο αντί να εμπιστευθείτε στα τυφλά ένα μαύρο κουτί, οι υποκείμενες μετρήσεις δεν είναι μυστικές. Τα δωρεάν εργαλεία ανάλυσης κειμένου θα σας δείξουν πού βρίσκεται η πρόζα σας, και μπορείτε να αποφασίσετε μόνοι σας αν τα επίπεδα τμήματα είναι ένα υφολογικό πρόβλημα που αξίζει να διορθωθεί.