Πιθανότητα διακριτικού και λογαριθμική πιθανοφάνεια στην ανίχνευση AI

Αν ρωτήσετε έναν ανιχνευτή πώς κατέληξε σε εκείνη τη βαθμολογία, τα περισσότερα περιβάλλοντα χρήστη του θα σας δώσουν την ίδια απάντηση: μια παράγραφο με ορισμένες λέξεις σκιασμένες πιο σκούρα από άλλες. Η σκίαση δεν είναι εικασία. Προέρχεται από έναν αριθμό που αντιστοιχεί σε κάθε token στο απόσπασμα, ο οποίος υπολογίζεται πριν ο ανιχνευτής αγγίξει ποτέ το perplexity, το burstiness ή ένα τελικό ποσοστό.

Είναι μια πιθανότητα token, και κάθε ανίχνευση token probability ai βασίζεται σε αυτό, από τη βάση της. Κάθε αριθμός μετρικών που θα αναφέρει ένας ανιχνευτής, συμπεριλαμβανομένων των δύο που καλύπτουμε αλλού σε αυτόν τον ιστότοπο, είναι απλώς αριθμητική που εφαρμόζεται σε μια σειρά από αυτούς τους αριθμούς. Το επίπεδο κάτω από το επίπεδο στο οποίο σταματούν οι περισσότερες εξηγήσεις είναι εκεί όπου πρέπει να σκεφτείτε τι είναι στην πραγματικότητα ένα token, τι σημαίνει η κατανομή του μοντέλου πάνω σε αυτό και γιατί η αριθμητική εκτελείται σε λογαριθμικό χώρο και όχι με ακατέργαστη πιθανότητα. Οι περισσότερες εξηγήσεις σταματούν εκεί.

Τίποτε από αυτά δεν χρειάζεται να παραμένει αδιαφανές. Ένα token, μια κατανομή πιθανοτήτων και ένας λογάριθμος είναι συνηθισμένα εργαλεία, όχι ιδιόκτητα μυστικά, και οι ίδιες τρεις ιδέες εξηγούν πώς λειτουργούν στην πραγματικότητα οι ανιχνευτές AI, από το ακατέργαστο κείμενο έως έναν μόνο αριθμό σε μια αναφορά.

Ανίχνευση AI με Πιθανότητα Token: Από την Κατανομή στη Βαθμολογία

Η ανίχνευση AI με πιθανότητα token λειτουργεί σε τρία στάδια. Ένα γλωσσικό μοντέλο αποδίδει μια πιθανότητα σε κάθε πιθανό επόμενο token με βάση ό,τι προηγήθηκε. Αυτές οι πιθανότητες ανά token μετατρέπονται σε λογαρίθμους και αθροίζονται σε όλο το απόσπασμα, κάτι που παρακάμπτει ένα αριθμητικό πρόβλημα στο οποίο η ακατέργαστη πολλαπλασίαση προσκρούει σχεδόν αμέσως. Το προκύπτον άθροισμα, αφού υπολογιστεί ο μέσος όρος του και ανακλιμακωθεί, είναι αυτό που τελικά εμφανίζεται ως δείκτης perplexity ή τροφοδοτεί την απόφαση ενός ταξινομητή. Κάθε στάδιο είναι ένα συγκεκριμένο, ελέγξιμο κομμάτι αριθμητικής, όχι ένα μαύρο κουτί.

Τι Είναι Πραγματικά ένα Token

Ένα token δεν είναι λέξη. Τα σύγχρονα γλωσσικά μοντέλα διασπούν το κείμενο σε υπολεξικά τμήματα με έναν αλγόριθμο όπως το byte-pair encoding, έτσι ώστε μια συνηθισμένη λέξη όπως το 'the' είναι συνήθως ένα token, μια λιγότερο συχνή λέξη όπως το 'perplexity' διασπάται σε δύο ή τρία τμήματα, και ένα άγνωστο όνομα μπορεί να κατακερματιστεί σε μεμονωμένους χαρακτήρες. Ένα απόσπασμα απλής αγγλικής γλώσσας tokenizes αξιόπιστα σε περισσότερα τμήματα από όσα έχει λέξεις, κάτι που αξίζει να γνωρίζει κανείς πριν εμπιστευτεί οποιαδήποτε καταμέτρηση λέξεων επιστρέφει ένα εργαλείο.

Το μοντέλο δεν βλέπει τις λέξεις όπως τις βλέπει ένας αναγνώστης. Βλέπει μια ακολουθία ακεραίων, καθένας από τους οποίους είναι ένας δείκτης μέσα σε ένα σταθερό λεξιλόγιο με το οποίο εκπαιδεύτηκε το μοντέλο. Ό,τι κάνει το token probability ai detection από αυτό το σημείο και μετά λειτουργεί πάνω σε εκείνη την ακολουθία ακεραίων, όχι πάνω στην αρχική συμβολοσειρά γραμμάτων, κάτι που είναι μέρος του λόγου για τον οποίο η εσωτερική λειτουργία ενός ανιχνευτή μπορεί να φαίνεται αποσυνδεδεμένη από τον τρόπο με τον οποίο ένα άτομο διαβάζει πραγματικά μια πρόταση.

Η Κατανομή του Μοντέλου για το Επόμενο Token

Σε κάθε θέση μιας ακολουθίας, ένα αυτοπαλίνδρομο γλωσσικό μοντέλο δεν παράγει μία πρόβλεψη. Παράγει μια πλήρη κατανομή πιθανοτήτων σε ολόκληρο το λεξιλόγιό του, δεκάδες χιλιάδες αριθμούς που αθροίζονται σε ένα, κατατάσσοντας κάθε πιθανό επόμενο token από το πιο πιθανό έως το λιγότερο πιθανό, με βάση ό,τι προηγήθηκε. Δώστε σε ένα μοντέλο τη φράση 'the results of the' και αυτό κατανέμει το μεγαλύτερο μέρος αυτής της μάζας πιθανότητας σε μια χούφτα εύλογων ουσιαστικών, 'study,' 'experiment,' 'analysis,' ενώ αποδίδει ένα απειροελάχιστο μερίδιο σε κάτι όπως 'marmalade.'

Το token που εμφανίζεται πράγματι στη συνέχεια σε ένα πραγματικό έγγραφο καταλήγει κάπου μέσα σε αυτή την κατάταξη, και η πιθανότητα που του αποδόθηκε είναι η πρώτη ύλη από την οποία χτίζονται όλα τα υπόλοιπα. Ένα μοντέλο που παράγει το δικό του κείμενο μπορεί να βασιστεί άμεσα σε αυτή την κατανομή, επιλέγοντας επανειλημμένα από τις υψηλότερες θέσεις. Ένας ανιχνευτής που διαβάζει το τελικό κείμενο κάποιου άλλου μπορεί μόνο να ρωτήσει, εκ των υστέρων, πόση πιθανότητα θα είχε αποδώσει το μοντέλο στην επιλογή που πράγματι έγινε.

Η πιθανότητα μιας ολόκληρης ακολουθίας είναι το γινόμενο της πιθανότητας κάθε token, δεδομένων όλων όσων προηγούνται, αν συνδέσουμε αυτό το ερώτημα ανά token σε ολόκληρο το έγγραφο χρησιμοποιώντας τον τυπικό κανόνα για την κοινή πιθανότητα, το τελικό αποτέλεσμα είναι ένας μόνο αριθμός που περιγράφει πόσο αναμενόμενο ήταν ολόκληρο το απόσπασμα. Αυτό το γινόμενο είναι το σημείο όπου η αριθμητική αρχίζει να καταρρέει, και αυτός είναι ο λόγος που υπάρχει η επόμενη ενότητα.

Γιατί το Log-Likelihood Αντικαθιστά την Ακατέργαστη Πιθανότητα

Ο πολλαπλασιασμός των πιθανοτήτων μεταξύ τους είναι μαθηματικά σωστός και πρακτικά άχρηστος πέρα από μερικές δεκάδες token. Κάθε επιμέρους πιθανότητα είναι ένα κλάσμα μικρότερο από το ένα, έτσι ένα σωρευτικό γινόμενο μικραίνει κάθε φορά που πολλαπλασιάζεται άλλο ένα token, και μικραίνει γρήγορα. Μετά από μερικές εκατοντάδες token, ένα ακατέργαστο γινόμενο μπορεί να πέσει τόσο κάτω από τον μικρότερο αριθμό που μπορεί να αναπαραστήσει ένας υπολογιστής, ώστε να στρογγυλοποιηθεί προς τα κάτω ακριβώς στο μηδέν, μια μορφή αστοχίας που ονομάζεται underflow.

Μόλις συμβεί αυτό, ο αριθμός δεν μεταφέρει καμία πληροφορία. Ένα έγγραφο που ήταν απλώς απίθανο και ένα έγγραφο που ήταν εξαιρετικά, χαοτικά απίθανο καταλήγουν και τα δύο στο ίδιο μηδέν, χωρίς τρόπο να διακριθούν στη συνέχεια. Οι λογάριθμοι το διορθώνουν αυτό, επειδή ο λογάριθμος ενός γινομένου ισούται με το άθροισμα των λογαρίθμων, μια ταυτότητα από τη βασική άλγεβρα. Η άθροιση μιας ακολουθίας συνηθισμένων αρνητικών αριθμών δεν υφίσταται underflow όπως ο πολλαπλασιασμός μιας ακολουθίας μικρών κλασμάτων, και επιπλέον είναι φθηνότερη στον υπολογισμό.

Μήκος αποσπάσματος (ενδεικτικό)	Ακατέργαστη πιθανότητα, ένα σωρευτικό γινόμενο	Άθροισμα των log-probabilities
12 token με ένα ενδεικτικό 0.1 το καθένα	1 x 10 to the power of -12, εξακολουθεί να μπορεί να αναπαρασταθεί	περίπου -27.6
350 token με ένα ενδεικτικό 0.1 το καθένα	1 x 10 to the power of -350, υφίσταται underflow και γίνεται ακριβώς 0	περίπου -805.9

Αυτό είναι μια απλοποιημένη απεικόνιση. Οι πραγματικές πιθανότητες ανά διακριτικό ποικίλλουν πάρα πολύ, αντί να παραμένουν σε ένα επίπεδο 0.1, αλλά η κατεύθυνση του προβλήματος είναι απολύτως σωστή. Μόλις ένα ακατέργαστο γινόμενο υπορρεύσει στο μηδέν, η σύγκριση που χρειάζεται πραγματικά ένας ανιχνευτής, αν αυτό το έγγραφο ήταν περισσότερο ή λιγότερο αναμενόμενο από εκείνο, καθίσταται αδύνατη. Το άθροισμα των λογαριθμικών πιθανοτήτων δεν αποτυγχάνει ποτέ με αυτόν τον τρόπο. Παραμένει ένας ακριβής, συνηθισμένος, συγκρίσιμος αριθμός, όσο μακρύ κι αν είναι το απόσπασμα, και αυτός είναι ο πραγματικός λόγος για τον οποίο η ανιχνευσιμότητα μετριέται στον λογαριθμικό χώρο και όχι στον χώρο της ακατέργαστης πιθανότητας.

Από τις Βαθμολογίες ανά Διακριτικό σε μια Βαθμολογία Ανίχνευσης

Το άθροισμα των λογαριθμικών πιθανοτήτων σε ένα απόσπασμα παράγει τη συνολική λογαριθμική πιθανοφάνεια του εγγράφου υπό το μοντέλο αναφοράς. Η διαίρεση με τον αριθμό των διακριτικών αφαιρεί την επίδραση του μήκους και αφήνει τη μέση λογαριθμική πιθανοφάνεια ανά διακριτικό, έναν αριθμό που επιτέλους είναι συγκρίσιμος μεταξύ μιας έκθεσης πεντακοσίων λέξεων και ενός κεφαλαίου διατριβής πέντε χιλιάδων λέξεων. Αν αρνηθεί κανείς αυτόν τον μέσο όρο και εφαρμόσει εκθετική συνάρτηση, το αποτέλεσμα είναι η βαθμολογία perplexity, μια μετρική που αυτή η ενότητα καλύπτει πλήρως σε ξεχωριστή ανάλυση του τι μετρά πραγματικά το perplexity.

Τα ίδια ανά πρόταση μεγέθη, όταν παρακολουθούνται ως προς τη μεταβλητότητα σε ολόκληρο το έγγραφο αντί να συμπυκνώνονται σε έναν μόνο μέσο όρο, είναι από τι συγκροτείται το burstiness, ένα σχετικό αλλά ξεχωριστό σήμα από το perplexity. Και τα δύο ξεκινούν από τους ίδιους αριθμούς ανά διακριτικό που περιγράφηκαν παραπάνω. Απλώς κάνουν διαφορετική αριθμητική πάνω σε αυτούς.

Ένας απλός μέσος όρος δεν είναι ο μόνος τρόπος να χρησιμοποιηθεί αυτή η πρώτη ύλη, και η έρευνα έχει προχωρήσει πολύ πέρα από αυτόν. Το DetectGPT, που δημοσιεύθηκε στο ICML 2023 από τους Mitchell, Lee, Khazatsky, Manning και Finn, λειτουργεί με βάση μια διαφορετική ιδιότητα της ίδιας συνάρτησης πιθανότητας, το κείμενο που δειγματοληπτείται από ένα γλωσσικό μοντέλο τείνει να βρίσκεται σε μια περιοχή όπου οι μικρές αναδιατυπώσεις κάνουν τη λογαριθμική πιθανότητα να μειώνεται αντί να αυξάνεται, ένα μοτίβο που η εργασία αποκαλεί αρνητική καμπυλότητα.

Αντί να εκπαιδεύει έναν ταξινομητή ή να χρησιμοποιεί ένα υδατογράφημα, αυτή η μέθοδος διαταράσσει ένα απόσπασμα, παράγοντας μικρές παραλλαγές στον τρόπο με τον οποίο αναδιατυπώνεται, και έπειτα επαναβαθμολογεί κάθε παραλλαγή με το ίδιο μοντέλο. Η εργασία το συγκρίνει με το καλύτερο zero-shot baseline και διαπιστώνει ότι, σε κείμενο που παράγεται από μοντέλο 20 δισεκατομμυρίων παραμέτρων, αυτή η μέθοδος επιτυγχάνει 0.95 AUROC, ενώ το καλύτερο zero-shot baseline επιτυγχάνει 0.81 AUROC.

Η ίδια κατανομή, χρησιμοποιημένη για υδατογράφηση αντί για ανίχνευση

Μέχρι εδώ, όλα έχουν αντιμετωπίσει την κατανομή πιθανοτήτων ως κάτι που διαβάζεται εκ των υστέρων. Μπορεί επίσης να αγγιχτεί τη στιγμή της παραγωγής, κάτι που αντιστρέφει πλήρως το πρόβλημα. Μια μέθοδος του 2023 από τους Kirchenbauer, Geiping, Wen, Katz, Miers και Goldstein επιλέγει μια τυχαιοποιημένη σύντομη λίστα επιτρεπόμενων tokens πριν παραχθεί κάθε λέξη, με βάση ένα hash όσων προηγήθηκαν, και κατευθύνει ήπια τη δειγματοληψία προς αυτή τη σύντομη λίστα. Η μεροληψία είναι αόρατη για τον αναγνώστη και αργότερα ανακτήσιμη με ένα στατιστικό τεστ σε ένα σύντομο τμήμα κειμένου, χωρίς να απαιτείται πρόσβαση στο αρχικό μοντέλο.

Το SynthID της Google DeepMind θέτει μια εκδοχή αυτής της ιδέας σε παραγωγική χρήση, προσαρμόζει τις βαθμολογίες πιθανότητας του επόμενου token κατά τη στιγμή της παραγωγής και είναι σήμερα ενεργό στην εφαρμογή και την εμπειρία ιστού του Gemini. Η OpenAI κατασκεύασε ένα συγκρίσιμο σύστημα και δεν το έχει διαθέσει. Η δημοσιογραφική κάλυψη αποδίδει την απόφαση εν μέρει σε μια έρευνα στην οποία σχεδόν το 30 percent των χρηστών του ChatGPT δήλωσαν ότι η υδατογράφηση θα τους έκανε να χρησιμοποιούν το προϊόν λιγότερο, μαζί με ανησυχίες για το πόσο καλά ένα watermark θα επιβίωνε την παράφραση.

Η αναφορά ενός ανιχνευτή δείχνει μια σκιασμένη λέξη ή ένα μόνο ποσοστό και σταματά εκεί, χωρίς ποτέ να δείχνει την κατανομή από την οποία προήλθε οτιδήποτε από αυτά. Το free perplexity checker του TextPulse εκτελεί μια απλοποιημένη εκδοχή της ίδιας βαθμολόγησης ανά token πάνω στο δικό σας προσχέδιο, κάτι που είναι ένας πιο άμεσος τρόπος να δείτε πού βρίσκεται ένα απόσπασμα από το να διαβάζετε μια κρίση έμμεσα.

Δύο γειτονικές σελίδες το καλύπτουν αυτό. Το αν οι ανιχνευτές εξακολουθούν να βασίζονται στο burstiness έχει αλλάξει από το 2023, και το πώς το GPTZero μετατρέπει αυτές τις ίδιες πιθανότητες σε βαθμολογία περιγράφεται στη δική του σελίδα.

Βρίσκεται μαζί με τα υπόλοιπα δωρεάν εργαλεία του TextPulse, έτσι ώστε το ίδιο προσχέδιο να μπορεί να ελεγχθεί ως προς τον ρυθμό και τη δομή, καθώς και ως προς την προβλεψιμότητα σε επίπεδο λέξης, χωρίς να ανοίγουν δώδεκα ξεχωριστές καρτέλες για να γίνει αυτό.