Πιθανότητα Token και Log-Likelihood στην Ανίχνευση AI

Αν ρωτήσετε έναν ανιχνευτή πώς κατέληξε σε εκείνη τη βαθμολογία, τα περισσότερα από τα περιβάλλοντα χρήστη του θα σας δώσουν την ίδια απάντηση, μια παράγραφο με ορισμένες λέξεις σκιασμένες πιο σκούρα από άλλες. Η σκίαση δεν είναι εικασία. Προέρχεται από έναν αριθμό που αντιστοιχεί σε κάθε token στο απόσπασμα, ο οποίος υπολογίζεται πριν ο ανιχνευτής αγγίξει ποτέ το perplexity, το burstiness ή ένα τελικό ποσοστό.

Πρόκειται για πιθανότητα token, και κάθε ανίχνευση πιθανότητας token ai βασίζεται σε αυτό, από τη βάση της. Κάθε αριθμός μετρικών που θα αναφέρει ένας ανιχνευτής, συμπεριλαμβανομένων των δύο που καλύπτουμε αλλού σε αυτόν τον ιστότοπο, είναι απλώς αριθμητική που εφαρμόζεται σε μια σειρά από αυτούς τους αριθμούς. Το επίπεδο κάτω από το επίπεδο στο οποίο σταματούν οι περισσότερες εξηγήσεις είναι εκεί όπου πρέπει να σκεφτείτε τι είναι στην πραγματικότητα ένα token, τι σημαίνει η κατανομή του μοντέλου πάνω σε αυτό και γιατί η αριθμητική εκτελείται σε λογαριθμικό χώρο και όχι σε ακατέργαστη πιθανότητα. Οι περισσότερες εξηγήσεις σταματούν εκεί.

Τίποτε από αυτά δεν χρειάζεται να παραμένει αδιαφανές. Ένα token, μια κατανομή πιθανότητας και ένας λογάριθμος είναι συνηθισμένα εργαλεία, όχι ιδιόκτητα μυστικά, και οι ίδιες τρεις ιδέες εξηγούν πώς λειτουργούν στην πραγματικότητα οι ανιχνευτές AI, από το ακατέργαστο κείμενο έως έναν μόνο αριθμό σε μια αναφορά.

Ανίχνευση AI με Πιθανότητα Token: Από την Κατανομή στη Βαθμολογία

Η ανίχνευση AI με πιθανότητα token λειτουργεί σε τρία στάδια. Ένα γλωσσικό μοντέλο αποδίδει μια πιθανότητα σε κάθε δυνατό επόμενο token, δεδομένου του τι προηγήθηκε. Αυτές οι ανά token πιθανότητες μετατρέπονται σε λογαρίθμους και αθροίζονται σε όλο το απόσπασμα, κάτι που παρακάμπτει ένα αριθμητικό πρόβλημα στο οποίο η ακατέργαστη πολλαπλασίαση προσκρούει σχεδόν αμέσως. Το προκύπτον άθροισμα, αφού υπολογιστεί ο μέσος όρος και ανακλιμακωθεί, είναι αυτό που τελικά εμφανίζεται ως δείκτης perplexity ή τροφοδοτεί την απόφαση ενός classifier. Κάθε στάδιο είναι ένα συγκεκριμένο, ελέγξιμο κομμάτι αριθμητικής, όχι ένα μαύρο κουτί.

Τι Είναι Πραγματικά ένα Token

Ένα token δεν είναι μια λέξη. Τα σύγχρονα γλωσσικά μοντέλα διασπούν το κείμενο σε υπολεξικές μονάδες με έναν αλγόριθμο όπως το byte-pair encoding, έτσι μια συνηθισμένη λέξη όπως το 'the' είναι συνήθως ένα token, μια λιγότερο συχνή λέξη όπως το 'perplexity' διασπάται σε δύο ή τρία μέρη, και ένα άγνωστο όνομα μπορεί να κατακερματιστεί σε μεμονωμένους χαρακτήρες. Ένα απόσπασμα απλών αγγλικών tokenizes αξιόπιστα σε περισσότερα μέρη από όσα είναι οι λέξεις του, κάτι που αξίζει να γνωρίζει κανείς πριν εμπιστευτεί οποιαδήποτε μέτρηση λέξεων επιστρέφει ένα εργαλείο.

Το μοντέλο δεν βλέπει τις λέξεις όπως τις βλέπει ένας αναγνώστης. Βλέπει μια ακολουθία ακεραίων, καθένας από τους οποίους είναι ένας δείκτης σε ένα σταθερό λεξιλόγιο με το οποίο εκπαιδεύτηκε το μοντέλο. Ό,τι κάνει το token probability ai detection από αυτό το σημείο και μετά λειτουργεί πάνω σε εκείνη την ακολουθία ακεραίων, όχι πάνω στην αρχική συμβολοσειρά γραμμάτων, κάτι που είναι μέρος του λόγου για τον οποίο η εσωτερική λειτουργία ενός ανιχνευτή μπορεί να φαίνεται αποσυνδεδεμένη από τον τρόπο με τον οποίο ένα άτομο διαβάζει πραγματικά μια πρόταση.

Η Κατανομή του Μοντέλου για το Επόμενο Token

Σε κάθε θέση μιας ακολουθίας, ένα αυτοπαλίνδρομο γλωσσικό μοντέλο δεν παράγει μία πρόβλεψη. Παράγει μια πλήρη κατανομή πιθανοτήτων σε ολόκληρο το λεξιλόγιό του, δεκάδες χιλιάδες αριθμούς που αθροίζονται σε ένα, κατατάσσοντας κάθε πιθανό επόμενο token από το πιο πιθανό έως το λιγότερο πιθανό, με βάση ό,τι προηγήθηκε. Δώστε σε ένα μοντέλο τη φράση 'the results of the' και κατανέμει το μεγαλύτερο μέρος αυτής της μάζας πιθανοτήτων σε μια χούφτα εύλογων ουσιαστικών, 'study,' 'experiment,' 'analysis,' ενώ αποδίδει ένα απειροελάχιστο μερίδιο σε κάτι όπως 'marmalade.'

Το token που εμφανίζεται πράγματι στη συνέχεια σε ένα πραγματικό έγγραφο καταλήγει κάπου μέσα σε αυτή την κατάταξη, και η πιθανότητα που του αποδίδεται είναι η πρώτη ύλη από την οποία χτίζονται όλα τα υπόλοιπα. Ένα μοντέλο που παράγει το δικό του κείμενο μπορεί να βασιστεί άμεσα σε αυτή την κατανομή, επιλέγοντας επανειλημμένα από τις υψηλότερες θέσεις. Ένας ανιχνευτής που διαβάζει το τελικό κείμενο κάποιου άλλου μπορεί μόνο να ρωτήσει, εκ των υστέρων, πόση πιθανότητα θα είχε αποδώσει το μοντέλο στην επιλογή που πράγματι έγινε.

Η πιθανότητα μιας ολόκληρης ακολουθίας είναι το γινόμενο της πιθανότητας κάθε token, δεδομένου ό,τι προηγείται από αυτό, αν συνδέσουμε αυτό το ερώτημα ανά token σε ολόκληρο το έγγραφο χρησιμοποιώντας τον τυπικό κανόνα για τη συνδυασμένη πιθανότητα, το τελικό αποτέλεσμα είναι ένας μόνο αριθμός που περιγράφει πόσο αναμενόμενο ήταν ολόκληρο το απόσπασμα. Αυτό το γινόμενο είναι το σημείο όπου η αριθμητική αρχίζει να καταρρέει, και αυτός είναι ο λόγος που υπάρχει η επόμενη ενότητα.

Γιατί το Log-Likelihood Αντικαθιστά την Ακατέργαστη Πιθανότητα

Ο πολλαπλασιασμός πιθανοτήτων είναι μαθηματικά σωστός και πρακτικά άχρηστος πέρα από μερικές δεκάδες tokens. Κάθε επιμέρους πιθανότητα είναι ένα κλάσμα μικρότερο από το ένα, έτσι ένα σωρευτικό γινόμενο μικραίνει κάθε φορά που πολλαπλασιάζεται άλλο ένα token, και μικραίνει γρήγορα. Σε μερικές εκατοντάδες tokens, ένα ακατέργαστο γινόμενο μπορεί να πέσει τόσο κάτω από τον μικρότερο αριθμό που μπορεί να αναπαραστήσει ένας υπολογιστής ώστε να στρογγυλοποιηθεί προς τα κάτω ακριβώς στο μηδέν, μια μορφή αποτυχίας που ονομάζεται underflow.

Μόλις συμβεί αυτό, ο αριθμός δεν μεταφέρει καμία πληροφορία. Ένα έγγραφο που ήταν απλώς απίθανο και ένα έγγραφο που ήταν εξαιρετικά, χαοτικά απίθανο καταρρέουν και τα δύο στο ίδιο μηδέν, χωρίς τρόπο να διακριθούν στη συνέχεια. Οι λογάριθμοι το διορθώνουν αυτό, επειδή ο λογάριθμος ενός γινομένου ισούται με το άθροισμα των λογαρίθμων, μια ταυτότητα από τη βασική άλγεβρα. Η άθροιση μιας ακολουθίας συνηθισμένων αρνητικών αριθμών δεν υφίσταται underflow όπως ο πολλαπλασιασμός μιας ακολουθίας μικρών κλασμάτων, και επιπλέον είναι φθηνότερη στον υπολογισμό.

Μήκος αποσπάσματος (ενδεικτικό)	Ακατέργαστη πιθανότητα, ένα σωρευτικό γινόμενο	Άθροισμα των πιθανοτήτων σε λογαριθμική κλίμακα
12 tokens με ενδεικτικό 0.1 το καθένα	1 x 10 to the power of -12, εξακολουθεί να μπορεί να αναπαρασταθεί	περίπου -27.6
350 tokens με ενδεικτικό 0.1 το καθένα	1 x 10 to the power of -350, υφίσταται underflow και γίνεται ακριβώς 0	περίπου -805.9

Αυτό είναι μια απλοποιημένη απεικόνιση. Οι πραγματικές πιθανότητες ανά διακριτικό ποικίλλουν εξαιρετικά, αντί να παραμένουν σε ένα επίπεδο 0.1, αλλά η κατεύθυνση του προβλήματος είναι απολύτως σωστή. Μόλις ένα ακατέργαστο γινόμενο υπορρεύσει στο μηδέν, η σύγκριση που χρειάζεται πραγματικά ένας ανιχνευτής, αν δηλαδή αυτό το έγγραφο ήταν περισσότερο ή λιγότερο αναμενόμενο από εκείνο, καθίσταται αδύνατη. Το άθροισμα των λογαριθμικών πιθανοτήτων δεν αποτυγχάνει ποτέ με αυτόν τον τρόπο. Παραμένει ένας ακριβής, συνηθισμένος, συγκρίσιμος αριθμός, όσο κι αν εκτείνεται το απόσπασμα, και αυτός είναι ο πραγματικός λόγος για τον οποίο η ανιχνευσιμότητα μετριέται στον λογαριθμικό χώρο και όχι στον χώρο της ακατέργαστης πιθανότητας.

Από τις Βαθμολογίες ανά Διακριτικό σε μια Βαθμολογία Ανίχνευσης

Το άθροισμα των λογαριθμικών πιθανοτήτων σε ένα απόσπασμα παράγει τη συνολική λογαριθμική πιθανοφάνεια του εγγράφου υπό το μοντέλο αναφοράς. Η διαίρεση με τον αριθμό των διακριτικών αφαιρεί την επίδραση του μήκους και αφήνει τη μέση λογαριθμική πιθανοφάνεια ανά διακριτικό, έναν αριθμό που επιτέλους είναι συγκρίσιμος ανάμεσα σε μια έκθεση πεντακοσίων λέξεων και σε ένα κεφάλαιο διατριβής πέντε χιλιάδων λέξεων. Αν αρνηθεί κανείς αυτή τη μέση τιμή και εφαρμόσει εκθετική συνάρτηση, αυτό που προκύπτει είναι η βαθμολογία perplexity, μια μετρική την οποία αυτή η ενότητα καλύπτει πλήρως σε ξεχωριστή ανάλυση για το τι μετρά πραγματικά το perplexity.

Οι ίδιες τιμές ανά πρόταση, όταν παρακολουθούνται ως προς τη μεταβλητότητα σε ολόκληρο το έγγραφο αντί να συμπυκνώνονται σε έναν μόνο μέσο όρο, είναι αυτό από το οποίο συγκροτείται το burstiness, ένα σχετικό αλλά ξεχωριστό σήμα από το perplexity. Και τα δύο ξεκινούν από τα ίδια αριθμητικά δεδομένα ανά διακριτικό που περιγράφηκαν παραπάνω. Απλώς κάνουν διαφορετική αριθμητική πάνω σε αυτά.

Ένας απλός μέσος όρος δεν είναι ο μόνος τρόπος αξιοποίησης αυτής της πρώτης ύλης, και η έρευνα έχει προχωρήσει πολύ πέρα από αυτόν. Το DetectGPT, που δημοσιεύθηκε στο ICML 2023 από τους Mitchell, Lee, Khazatsky, Manning και Finn, λειτουργεί με βάση μια διαφορετική ιδιότητα της ίδιας συνάρτησης πιθανότητας, το κείμενο που δειγματοληπτείται από ένα γλωσσικό μοντέλο τείνει να βρίσκεται σε μια περιοχή όπου οι μικρές αναδιατυπώσεις κάνουν τη λογαριθμική πιθανότητα να μειώνεται αντί να αυξάνεται, ένα μοτίβο που η εργασία αποκαλεί αρνητική καμπυλότητα.

Αντί να εκπαιδεύει έναν ταξινομητή ή να χρησιμοποιεί ένα υδατογράφημα, αυτή η μέθοδος διαταράσσει ένα απόσπασμα, παράγοντας μικρές παραλλαγές στον τρόπο με τον οποίο αναδιατυπώνεται, και έπειτα επαναβαθμολογεί κάθε παραλλαγή με το ίδιο μοντέλο. Η εργασία το συγκρίνει με το καλύτερο zero-shot baseline και διαπιστώνει ότι, σε κείμενο που παράγεται από μοντέλο 20 δισεκατομμυρίων παραμέτρων, αυτή η μέθοδος επιτυγχάνει 0.95 AUROC, ενώ το καλύτερο zero-shot baseline επιτυγχάνει 0.81 AUROC.

Η ίδια κατανομή, χρησιμοποιείται για υδατογράφηση αντί για ανίχνευση

Όλα όσα προηγήθηκαν αντιμετώπισαν την κατανομή πιθανοτήτων ως κάτι που διαβάζεται εκ των υστέρων. Μπορεί επίσης να αγγιχτεί τη στιγμή της παραγωγής, γεγονός που αντιστρέφει πλήρως το πρόβλημα. Μια μέθοδος του 2023 από τους Kirchenbauer, Geiping, Wen, Katz, Miers και Goldstein επιλέγει μια τυχαιοποιημένη σύντομη λίστα επιτρεπόμενων token πριν παραχθεί κάθε λέξη, με βάση ένα hash όσων προηγήθηκαν, και κατευθύνει ήπια τη δειγματοληψία προς αυτή τη σύντομη λίστα. Η μεροληψία είναι αόρατη για τον αναγνώστη και αργότερα ανακτήσιμη με ένα στατιστικό τεστ σε ένα σύντομο τμήμα κειμένου, χωρίς να απαιτείται πρόσβαση στο αρχικό μοντέλο.

Το SynthID της Google DeepMind υλοποιεί μια εκδοχή αυτής της ιδέας σε παραγωγική χρήση, προσαρμόζει τις βαθμολογίες πιθανοτήτων του επόμενου token κατά τη στιγμή της παραγωγής και είναι σήμερα ενεργό στην εφαρμογή Gemini και στην εμπειρία ιστού. Η OpenAI κατασκεύασε ένα συγκρίσιμο σύστημα και δεν το έχει διαθέσει. Η δημοσιογραφική κάλυψη αποδίδει την απόφαση εν μέρει σε μια έρευνα στην οποία σχεδόν το 30 percent των χρηστών του ChatGPT δήλωσαν ότι η υδατογράφηση θα τους έκανε να χρησιμοποιούν το προϊόν λιγότερο, μαζί με ανησυχίες για το πόσο καλά θα επιβίωνε ένα υδατογράφημα την παράφραση.

Η αναφορά ενός ανιχνευτή δείχνει μια σκιασμένη λέξη ή ένα μόνο ποσοστό και σταματά εκεί, χωρίς ποτέ να δείχνει την κατανομή από την οποία προήλθε οτιδήποτε από αυτά. Το free perplexity checker του TextPulse εκτελεί μια απλοποιημένη εκδοχή της ίδιας βαθμολόγησης ανά token πάνω στο δικό σας προσχέδιο, κάτι που αποτελεί πιο άμεσο τρόπο να δείτε πού βρίσκεται ένα απόσπασμα από το να διαβάζετε μια ετυμηγορία έμμεσα.

Δύο γειτονικές σελίδες το καλύπτουν αυτό. Το αν οι ανιχνευτές εξακολουθούν να βασίζονται στο burstiness έχει αλλάξει από το 2023, και το πώς το GPTZero μετατρέπει αυτές τις ίδιες πιθανότητες σε βαθμολογία περιγράφεται στη δική του σελίδα.

Βρίσκεται μαζί με τα υπόλοιπα δωρεάν εργαλεία του TextPulse, έτσι ώστε το ίδιο προσχέδιο να μπορεί να ελεγχθεί ως προς τον ρυθμό και τη δομή, καθώς και ως προς την προβλεψιμότητα σε επίπεδο λέξης, χωρίς να ανοίγουν δώδεκα ξεχωριστές καρτέλες για να γίνει αυτό.