Γιατί ανιχνεύεται το κείμενο AI; Οι πραγματικοί λόγοι

Αν ζητήσετε από ένα γλωσσικό μοντέλο να συμπληρώσει τη φράση "The weather today is," δεν θα προσπαθήσει να επιλέξει ένα χρώμα όπως "cerulean" ή "apocalyptic." Αντίθετα, θα προσπαθήσει να πει "sunny," "cloudy," ή "nice," επειδή αυτές ήταν οι λέξεις που ακολουθούσαν συχνότερα αυτή τη φράση σε ό,τι κι αν εκπαιδεύτηκε. Το λογισμικό που επιλέγει την επόμενη λέξη σε μια πρόταση έχει σχεδιαστεί ώστε να ευνοεί ακριβώς αυτού του είδους την απάντηση.

Γιατί ανιχνεύεται το κείμενο της AI; Επειδή η ίδια προτίμηση που επιλέγει το 'sunny' αντί του 'cerulean' διατρέχει ολόκληρο το έγγραφο, λέξη προς λέξη, και το αποτέλεσμα βρίσκεται σε μια στενότερη ζώνη πιθανής γραφής από αυτήν που καταλαμβάνει στην πραγματικότητα ένας άνθρωπος. Ένας ανιχνευτής δεν χρειάζεται να εντοπίσει ένα ψέμα. Χρειάζεται μόνο να παρατηρήσει ότι ένα απόσπασμα συνεχίζει να καταλήγει σε αυτή τη στενή ζώνη.

Τίποτε από όσα ακολουθούν δεν χρειάζεται τύπο. Οι μηχανισμοί στηρίζονται σε μία ιδέα, επαναλαμβανόμενη σε τρεις διαφορετικές κλίμακες, επιλογή λέξεων, δομή πρότασης και τη συγκεκριμένη λεπτομέρεια στην οποία καταφεύγει ένας συγγραφέας χωρίς να το σκέφτεται. Καθεμία από αυτές τις κλίμακες τροφοδοτεί το ευρύτερο ερώτημα του πώς λειτουργούν στην πραγματικότητα οι ανιχνευτές AI, και καθεμία είναι ευκολότερο να φανεί μόλις κατονομαστεί η βασική αιτία.

Γιατί ανιχνεύεται το κείμενο της AI; Η σύντομη απάντηση

Το κείμενο της AI ανιχνεύεται επειδή η διαδικασία αποκωδικοποίησης που μετατρέπει τις προβλέψεις ενός μοντέλου σε ολοκληρωμένες προτάσεις είναι δομημένη ώστε να ευνοεί τις πιθανές λέξεις σε κάθε βήμα, και η συνεπής εφαρμογή αυτού, για χιλιάδες λέξεις στη σειρά, παράγει γραφή που καταλαμβάνει ένα στενότερο τμήμα της γλώσσας από αυτό που συνήθως καταλαμβάνει ένας άνθρωπος. Ένα στατιστικό εργαλείο μπορεί να εντοπίσει αυτή τη στενότητα ακόμη και όταν κάθε πρόταση είναι γραμματικά άρτια και πραγματολογικά ακριβής.

Τρία συμπτώματα προκύπτουν από αυτή τη μία αιτία. Το λεξιλόγιο στενεύει προς την ασφαλέστερη κοινή λέξη. Η δομή των προτάσεων στενεύει προς λίγες προτιμώμενες μορφές. Και η συγκεκριμένη, ελαφρώς απίθανη επιλογή που κάνει ένας άνθρωπος σχεδόν από αντανακλαστικό, η παράξενη λέξη, η παρένθεση, η λεπτομέρεια που δεν κοστίζει τίποτε να συμπεριληφθεί και τα πάντα να προβλεφθεί, τείνει να μην εμφανίζεται καθόλου.

Πώς ένα γλωσσικό μοντέλο επιλέγει την επόμενη λέξη του

Αν αφεθεί μόνο του, ένα γλωσσικό μοντέλο θα ανέφερε απλώς την πλήρη ταξινομημένη λίστα των πιθανών επόμενων λέξεων και θα άφηνε κάτι άλλο να επιλέξει. Στην πράξη, μια στρατηγική αποκωδικοποίησης κάνει αυτή την επιλογή αυτόματα, λέξη προς λέξη, και το ποια στρατηγική εκτελείται αλλάζει την όψη του αποτελέσματος, ακόμη και όταν το υποκείμενο μοντέλο δεν αλλάζει ποτέ.

Η άπληστη αποκωδικοποίηση επιλέγει πάντα τη μία και μοναδική λέξη με τη μεγαλύτερη πιθανότητα. Στην εργασία που εισήγαγε τη δειγματοληψία πυρήνα ως διόρθωση, ο Ari Holtzman και οι συνσυγγραφείς του παρατήρησαν ότι η ακολουθία αυτής της στρατηγικής οδηγεί σε κείμενο που, με τα δικά τους λόγια, είναι «άτονο και παράξενα επαναληπτικό». Η αναζήτηση δοκού, η οποία παρακολουθεί ταυτόχρονα αρκετές πιθανές συνέχειες πριν καταλήξει σε μία, συναντά μια παρόμοια εκδοχή του ίδιου προβλήματος.

Οι στρατηγικές δειγματοληψίας επανεισάγουν κάποια τυχαιότητα, αλλά με ελεγχόμενο τρόπο. Η θερμοκρασία ρυθμίζει πόσο έντονα το μοντέλο ευνοεί τις δικές του κορυφαίες επιλογές πριν επιλεγεί μια λέξη. Η δειγματοληψία πυρήνα, που μερικές φορές ονομάζεται top-p, περικόπτει την κατανομή στο μικρότερο σύνολο λέξεων του οποίου η συνδυασμένη πιθανότητα υπερβαίνει ένα κατώφλι και δειγματοληπτεί μόνο από αυτό το σύνολο, το οποίο στην αρχική εργασία περιγράφεται ως δειγματοληψία από έναν δυναμικό πυρήνα της κατανομής και όχι από την αναξιόπιστη ουρά της.

Ακόμη και η λιγότερο ντετερμινιστική από αυτές τις ρυθμίσεις εξακολουθεί να δειγματοληπτεί από μια σύντομη λίστα που διαμορφώνεται γύρω από ό,τι το μοντέλο ήδη θεωρεί πιθανό. Η ανθρώπινη γραφή δεν δημιουργήθηκε ποτέ με την κατάταξη ενός λεξιλογίου και τη δειγματοληψία από την κορυφή του, επομένως υπερβαίνει διαρκώς αυτή τη σύντομη λίστα. Το νόημα μερικές φορές κατοικεί στη λέξη που δεν βρέθηκε ποτέ στη λίστα.

Επιπεδότητα λεξιλογίου, λιγότερες, ασφαλέστερες λέξεις

Η επιπεδότητα λεξιλογίου είναι η εκδοχή σε επίπεδο λέξης της ίδιας συνήθειας. Σε κάθε σημείο μιας πρότασης, δεκάδες λέξεις θα μπορούσαν εύλογα να τη συνεχίσουν, αλλά λίγες βρίσκονται πολύ πιο πάνω από τις υπόλοιπες στην κατάταξη του μοντέλου, και η αποκωδικοποίηση καταλήγει διαρκώς σε αυτές τις λίγες. Αν πολλαπλασιάσει κανείς αυτή την επιλογή σε κάθε πρόταση ενός εγγράφου, το εύρος των λέξεων που χρησιμοποιούνται πραγματικά στενεύει μετρήσιμα σε σύγκριση με ανθρώπινη γραφή παρόμοιου μήκους.

Το αποτέλεσμα συσσωρεύεται αντί να παραμένει σταθερό. Ένα μοντέλο που επιλέγει τη λέξη με την υψηλότερη κατάταξη στην πρώτη πρόταση είναι πιο πιθανό να διαμορφώσει ένα πλαίσιο όπου η λέξη με την υψηλότερη κατάταξη στη δεύτερη πρόταση είναι επίσης κοινή, επειδή οι κοινές λέξεις τείνουν να ακολουθούν κοινές λέξεις. Ένας ανθρώπινος συγγραφέας διακόπτει αυτή την παρέκκλιση συνεχώς, επιλέγοντας τον συγκεκριμένο τεχνικό όρο, το ελαφρώς ασυνήθιστο ρήμα, τη λέξη που ονομάζει το πραγματικό πράγμα και όχι μια ασφαλή προσέγγισή του. Αυτή η διαφορά εμφανίζεται ως μετρήσιμα μικρότερο ενεργό λεξιλόγιο στην παραγόμενη εκδοχή, ακόμη και όταν και οι δύο εκδοχές περιγράφουν τα ίδια υποκείμενα γεγονότα.

Αυτό είναι ιδιότητα ολόκληρου του αποσπάσματος, όχι οποιασδήποτε μεμονωμένης επιλογής λέξης. Μία ασφαλής λέξη δεν αποδεικνύει τίποτα. Μια σελίδα από αυτές, πρόταση μετά την πρόταση να επιλέγουν την ίδια βαθμίδα κοινού λεξιλογίου, είναι αυτό που ένα σήμα σε επίπεδο λέξης του ανιχνευτή έχει πράγματι σχεδιαστεί να παρατηρεί.

Συντακτική Ομοιομορφία: Τα Ίδια Σχήματα, Επαναλαμβανόμενα

Η συντακτική ομοιομορφία είναι η εκδοχή σε επίπεδο πρότασης. Δεν αφορά το πόσο μεγάλη είναι μια πρόταση. Αφορά πόσα διακριτά γραμματικά σχήματα χρησιμοποιεί ένα απόσπασμα, πώς ανοίγουν οι προτάσεις, πώς οι προτάσεις εξαρτώνται η μία από την άλλη, πόσο συχνά μια λέξη μετάβασης αναλαμβάνει το έργο της σύνδεσης μιας ιδέας με την επόμενη. Ένα μοντέλο που συνεχίζει να προβλέπει τη στατιστικά πιθανή επόμενη δομή καταλήγει σε μια μικρή εναλλαγή σχημάτων και την επαναλαμβάνει.

Μια παράγραφος μπορεί να διαφοροποιεί τα μήκη των προτάσεών της και παρ' όλα αυτά να διαβάζεται ως συντακτικά επίπεδη, αν κάθε πρόταση ακολουθεί το ίδιο σχήμα υποκείμενο, ρήμα, συμπλήρωμα, αν ανοίγει με το ίδιο είδος μετάβασης ή αν καταλήγει με τον ίδιο τρόπο. Η προβλεψιμότητα βρίσκεται στο μοτίβο, όχι στον αριθμό των λέξεων, μια διάκριση που καλύπτεται πιο αναλυτικά στον οδηγό για το τι μετρά στην πραγματικότητα το burstiness.

Τι περιορίζει	Τι τείνει να κάνει το κείμενο βελτιστοποιημένο για αποκωδικοποίηση	Τι τείνει να κάνει η ανθρώπινη γραφή
Επιλογή λέξεων	Καταλήγει στην πιο πιθανή κοινή λέξη σε κάθε βήμα	Αναζητά τη συγκεκριμένη ή λιγότερο κοινή λέξη που ονομάζει το πραγματικό πράγμα
Έναρξη πρότασης	Επαναλαμβάνει μια μικρή εναλλαγή ασφαλών μεταβατικών αρχών	Ποικίλλει τον τρόπο με τον οποίο αρχίζει μια πρόταση, συμπεριλαμβανομένων αρχών που ένα μοντέλο θα κατέτασσε ως λιγότερο πιθανές
Δομή πρότασης	Επαναλαμβάνει ένα ή δύο προτιμώμενα γραμματικά σχήματα σε όλο το απόσπασμα	Συνδυάζει απλές και σύνθετες δομές ανάλογα με το τι χρειάζεται μια πρόταση

Οι επιλογές που τείνει να κάνει μόνο ένας άνθρωπος

Η άλλη όψη μιας στενής ζώνης είναι ό,τι βρίσκεται έξω από αυτήν. Ένα άτομο που περιγράφει πραγματικά γεγονότα αναζητά το ακριβές μέγεθος αντί για ένα στρογγυλό, παραδέχεται το μέρος που δεν λειτούργησε, διακόπτει μια πρόταση για να τη διορθώσει στη μέση της σκέψης, ή επιλέγει μια λέξη που είναι σωστή και όχι τυπική. Καθεμία από αυτές τις επιλογές είναι, από την οπτική ενός γλωσσικού μοντέλου, ένα token χαμηλής πιθανότητας, ακριβώς το είδος που η αποκωδικοποίηση έχει σχεδιαστεί να αποφεύγει.

Τίποτε από αυτά δεν σημαίνει ότι η συγκεκριμένη ή ασυνήθιστη γραφή είναι ασφαλής από κάθε ένδειξη, ή ότι η άρτια, σωστή γραφή είναι εξ ορισμού ύποπτη. Μια ενότητα μεθόδων, μια νομική ρήτρα ή ένα τελικό προσχέδιο που έχει υποστεί εκτεταμένη επιμέλεια μπορεί να βρεθεί σε μια στενή ζώνη για λόγους που δεν έχουν καμία σχέση με ένα μοντέλο, γι' αυτό και μια μεμονωμένη βαθμολογία είναι περιγραφή ενός μοτίβου και όχι ετυμηγορία για το ποιος το πληκτρολόγησε.

Το να βλέπετε πού βρίσκεται το δικό σας προσχέδιο μέσα σε αυτή τη ζώνη είναι πιο χρήσιμο από το να μαντεύετε. Το δωρεάν perplexity checker και το burstiness checker του TextPulse μετρούν ξεχωριστά την προβλεψιμότητα σε επίπεδο λέξης και τον ρυθμό από πρόταση σε πρόταση, έτσι ώστε ένα επίπεδο λεξιλόγιο και μια επαναλαμβανόμενη δομή πρότασης να εμφανίζονται ως δύο διαφορετικά σήματα αντί για έναν ενιαίο συνδυασμένο αριθμό.

Από αυτό προκύπτουν δύο πιο περιορισμένες σελίδες. Πώς το Turnitin ανιχνεύει συγκεκριμένα το AI είναι η μία, και η διαφορά μεταξύ της βαθμολογίας ομοιότητας και της βαθμολογίας AI είναι η άλλη, καθώς οι δύο συγχέονται συστηματικά μεταξύ τους.

Και οι δύο εντάσσονται στη ευρύτερη συλλογή δωρεάν εργαλείων, για όποιον θέλει να δει ο ίδιος το μοτίβο, αντί να εμπιστευτεί τυφλά έναν μόνο αριθμό.