Τι είναι η perplexity στην ανίχνευση AI;

Αναζητήστε μαζί το perplexity και την ανίχνευση AI, και αρκετά από τα κορυφαία αποτελέσματα αποδεικνύεται ότι αφορούν ένα άσχετο προϊόν, μια μηχανή αναζήτησης με υποστήριξη AI που τυχαίνει επίσης να ονομάζεται Perplexity. Η μετρική που αναφέρει στην πραγματικότητα ένας ανιχνευτής δεν έχει τίποτε κοινό με εκείνη την εταιρεία, πέρα από τη λέξη. Προέρχεται από έρευνα στην αναγνώριση ομιλίας, δεκαετίες παλαιότερη από το GPTZero ή τη μηχανή αναζήτησης, και μετρά κάτι στενότερο από τα δύο, το πόσο εκπλήσσεται ένα γλωσσικό μοντέλο από τις λέξεις που υπάρχουν ήδη στη σελίδα.

Τι είναι λοιπόν το perplexity στην ανίχνευση AI; Το perplexity είναι μια βαθμολογία που περιγράφει πόσο καλά ένα γλωσσικό μοντέλο προέβλεψε τις ακριβείς λέξεις σε ένα απόσπασμα, και παράγεται με τον μέσο όρο των ίδιων πιθανοτήτων του μοντέλου και τη μετατροπή του αποτελέσματος σε έναν ενιαίο αριθμό. Χαμηλή βαθμολογία σημαίνει ότι το μοντέλο συνέχισε να μαντεύει σωστά. Υψηλή βαθμολογία σημαίνει ότι συνέχισε να εκπλήσσεται.

Η ιδέα είναι παλαιότερη από κάθε ανιχνευτή AI στην αγορά, και από μόνη της δεν λέει τίποτε για το ποιος έγραψε ένα έγγραφο. Μόλις η αριθμητική πίσω από τον αριθμό γίνει ορατή, μια βαθμολογία σε μια αναφορά παύει να μοιάζει με ετυμηγορία και αρχίζει να μοιάζει με αυτό που πραγματικά είναι, μια περιγραφή της επιλογής λέξεων.

Τι είναι το perplexity στην ανίχνευση AI;

Η perplexity είναι ένα μέτρο δανεισμένο από τη μοντελοποίηση γλώσσας. Αποδίδει πόσο καλά ένα μοντέλο προέβλεψε τις συγκεκριμένες λέξεις που εμφανίζονται σε ένα απόσπασμα και αναφέρει αυτή την τιμή ως έναν ενιαίο αριθμό. Οι ανιχνευτές εφαρμόζουν το ίδιο μέτρο σε ένα υποβληθέν έγγραφο, ένας χαμηλός αριθμός, που σημαίνει ότι οι εικασίες του μοντέλου ταίριαζαν στενά με τις πραγματικές λέξεις, διαβάζεται ως ένδειξη μηχανικής συγγραφής, και ένας υψηλός αριθμός διαβάζεται ως ένδειξη ανθρώπινης συγγραφής. Τίποτε στον υπολογισμό δεν διαβάζει το επιχείρημα του εγγράφου, τις παραπομπές του ή το θεματικό του περιεχόμενο. Διαβάζει μόνο πόσο αναμενόμενη ήταν κάθε λέξη, μία κάθε φορά.

Οι ανιχνευτές δεν επινόησαν αυτό το μέτρο. Δανείστηκαν ένα εργαλείο που τα συστήματα αναγνώρισης ομιλίας και μηχανικής μετάφρασης είχαν ήδη χρησιμοποιήσει επί δεκαετίες για να κρίνουν πόσο καλά ένα μοντέλο προέβλεπε την κοινή γλώσσα, και το επαναχρησιμοποίησαν ως έμμεσο δείκτη συγγραφής, μια εργασία για την οποία δεν είχε αρχικά κατασκευαστεί.

Τίποτε από αυτά δεν έχει καμία σχέση με τη μη σχετική μηχανή αναζήτησης που αναφέρθηκε νωρίτερα. Η perplexity που αναφέρει ένας ανιχνευτής δεν είναι ποτέ εταιρεία και δεν γράφεται ποτέ με κεφαλαίο αρχικό, είναι μια απλή στατιστική ιδιότητα μιας ακολουθίας λέξεων, υπολογισμένη εκ νέου από οποιοδήποτε κείμενο του δοθεί.

Πώς υπολογίζεται στην πραγματικότητα η perplexity

Ο υπολογισμός ανάγεται ακόμη πιο πίσω από οποιοδήποτε προϊόν AI. Οι Frederick Jelinek, Robert Mercer, Lalit Bahl και James Baker εισήγαγαν την perplexity το 1977 για να μετρήσουν πόσο δύσκολη ήταν μια εργασία αναγνώρισης ομιλίας για ένα στατιστικό μοντέλο, δεκαετίες πριν κάποιος εφαρμόσει τον όρο σε ένα δοκίμιο ή σε μια εργαστηριακή αναφορά. Ο ορισμός δεν έχει αλλάξει από τότε.

Σε κάθε θέση ενός εγγράφου, το μοντέλο αποδίδει μια πιθανότητα για τη λέξη που πράγματι ακολουθεί, κάτι σαν 0.72 για μια συνηθισμένη μετάβαση ή 0.03 για μια ασυνήθιστη. Η perplexity υπολογίζει τον μέσο όρο των λογαρίθμων αυτών των πιθανοτήτων σε ολόκληρο το απόσπασμα, και έπειτα αντιστρέφει τον μέσο όρο με έναν εκθέτη.

Ο εκθέτης στο there's κάνει περισσότερα απ' όσα φαίνονται. Ο μέσος όρος των πιθανοτήτων λογαρίθμου είναι ακριβώς αυτό που κάνουμε όταν υπολογίζουμε την διασταυρούμενη εντροπία, δηλαδή τον πληροφοριακοθεωρητικό τρόπο να λέμε πόσα bits χρειάζεστε για να κωδικοποιήσετε μια ακολουθία, δεδομένων των προβλέψεων που κάνει ένα μοντέλο. Αλλά η perplexity μεταφράζει τον αριθμό των bits πίσω σε κάτι που μπορούμε να κατανοήσουμε καλύτερα, έναν αποτελεσματικό αριθμό επιλογών, αντί για μια αφηρημένη καταμέτρηση bits.

Ό,τι απομένει από αυτή την αριθμητική έχει μια καθαρή, σχεδόν φυσική ερμηνεία. Ένα μοντέλο που είναι απολύτως βέβαιο κάθε φορά παράγει perplexity 1, το κατώτατο όριο της κλίμακας. Ένα μοντέλο που αντιμετωπίζει κάθε θέση ως ισοδύναμη αμφιταλάντευση ανάμεσα σε ογδόντα εξίσου πιθανά words παράγει perplexity 80.

Τα περισσότερα πραγματικά documents καταλήγουν κάπου ανάμεσα σε αυτά τα δύο άκρα, και το πού ακριβώς εξαρτάται από τον συγγραφέα, το θέμα και από το ποιο model κάνει την ανάγνωση.

Γιατί η ανθρώπινη γραφή τείνει να βαθμολογείται διαφορετικά

Οι προσδοκίες ενός model οικοδομούνται αποκλειστικά από ό,τι προηγήθηκε, μία λέξη τη φορά. Μετά τη φράση 'the treatment group showed a statistically', η συντριπτική πλειονότητα των ορθά διαμορφωμένων συνεχίσεων είναι 'significant', και ένα model που έχει εκπαιδευτεί σε μεγάλο όγκο επιστημονικής γραφής αποδίδει σε αυτή τη λέξη υψηλή πιθανότητα χωρίς δισταγμό. Ένας ανθρώπινος συγγραφέας που φτάνει στην ίδια φράση μπορεί επίσης να καταλήξει στο 'significant', επειδή η ίδια η φράση αποτελεί σταθερό στοιχείο του είδους. Το χάσμα ανοίγει αλλού, στο ουσιαστικό που επιλέγεται δύο προτάσεις αργότερα, στην παρένθετη διευκρίνιση που προστίθεται σε παρενθέσεις, στον αριθμό που αναφέρεται με παράξενο δεκαδικό ψηφίο αντί για στρογγυλό.

Τίποτε από αυτά δεν είναι τέχνασμα. Όταν ένα άτομο που γράφει για πραγματικά δεδομένα προσπαθεί να βρει τον ακριβή αριθμό, τον ακριβή προσδιορισμό, τη λίγο στενότερη λέξη, προσπαθεί να βρει πράγματα που είναι αληθή για το έργο και όχι αληθή για το είδος. Και καθεμία από αυτές τις επιλογές κοστίζει στο model λίγο περισσότερη έκπληξη. Η έκπληξη είναι αυτό που ο δείκτης έχει σχεδιαστεί να αθροίζει.

Η συμπερασματολογία κάνει περισσότερη δουλειά από όση μπορεί να υποστηρίξει η μέτρηση. Η perplexity μετρά άμεσα την προβλεψιμότητα. Συνάγει τη συγγραφή μόνο με την υπόθεση ότι η προβλέψιμη γραφή είναι σπάνια στους ανθρώπους και συνηθισμένη στα μοντέλα, μια υπόθεση που συνήθως είναι εύλογη και περιστασιακά λανθασμένη με έναν συγκεκριμένο, αναγνωρίσιμο τρόπο, αφού η προβλεψιμότητα είναι μια ιδιότητα που το κείμενο μπορεί να έχει για λόγους που δεν έχουν καμία σχέση με το ποιος το πληκτρολόγησε.

Γιατί το ίδιο απόσπασμα μπορεί να λάβει διαφορετική βαθμολογία

Η βαθμολογία είναι επίσης λιγότερο μεταφέρσιμη από όσο φαίνεται, επειδή δεν μετριέται ποτέ σε κενό. Η perplexity υπολογίζεται πάντα σε σχέση με την εκπαίδευση ενός συγκεκριμένου μοντέλου αναφοράς, και αυτή η εξάρτηση δημιουργεί προβλήματα που κανένας μεμονωμένος ορισμός δεν μπορεί να δείξει από μόνος του.

Παράγοντας	Τι αλλάζει	Γιατί συμβαίνει
Ποιο μοντέλο κάνει την ανάγνωση	Η ίδια παράγραφος μπορεί να λάβει χαμηλή βαθμολογία σε ένα μοντέλο και υψηλή σε ένα άλλο	Η perplexity μετριέται μόνο σε σχέση με τα δεδομένα εκπαίδευσης ενός μοντέλου, και διαφορετικά μοντέλα εκπαιδεύτηκαν σε διαφορετικό κείμενο
Αν το απόσπασμα είναι ευρέως αναπαραγόμενο κείμενο	Ένα διάσημο ιστορικό έγγραφο ή ένας ορισμός από σχολικό εγχειρίδιο μπορεί να λάβει χαμηλή perplexity ακόμη και όταν ένας άνθρωπος πληκτρολόγησε κάθε λέξη του στον ανιχνευτή	Το Pangram επισημαίνει τη Διακήρυξη της Ανεξαρτησίας ως παράδειγμα, επειδή παρατίθεται τόσο συχνά στα δεδομένα εκπαίδευσης ώστε ένα μοντέλο να βρίσκει κάθε πρότασή της αναμενόμενη
Αν ο ανιχνευτής μπορεί να δει καθόλου τις πιθανότητες των token	Κλειστά εμπορικά μοντέλα όπως ChatGPT, Gemini και Claude δεν εκθέτουν τις πιθανότητες ανά λέξη που χρειάζεται η perplexity	Οι ανιχνευτές προσεγγίζουν τη βαθμολογία με ένα υποκατάστατο ανοιχτό μοντέλο αντί να υπολογίζουν την perplexity σε σχέση με το μοντέλο που πραγματικά παρήγαγε το κείμενο

Τίποτε από αυτά δεν καθιστά τον αριθμό χωρίς νόημα, μόνο πιο ριψοκίνδυνο να τον εμπιστευθεί κανείς ως κρίση από μόνο του. Η ίδια η τεκμηρίωση του GPTZero είχε κάποτε δημοσιεύσει έναν πρόχειρο κανόνα, σύμφωνα με τον οποίο μια perplexity πάνω από 85 διαβαζόταν ως πιθανότερα ανθρώπινη, αλλά ένα όριο ενός προμηθευτή σε ένα μοντέλο δεν μεταφέρεται σε διαφορετικό εργαλείο που μετράται απέναντι σε διαφορετικό μοντέλο. Ένας ανιχνευτής που αναφέρει μία μόνο βαθμολογία συμπυκνώνει όλους τους παραπάνω παράγοντες σε ένα μόνο μέγεθος, χωρίς να λέει ποιος από αυτούς έκανε τη δουλειά.

Τι σας λέει στην πραγματικότητα μια βαθμολογία perplexity

Οι εμπορικοί ανιχνευτές συνδυάζουν την perplexity με μοτίβα σε επίπεδο πρότασης, την εκπαίδευση του ταξινομητή και αρκετά άλλα σήματα πριν καν εμφανίσουν έναν μόνο αριθμό σε μια αναφορά. Η πληρέστερη εικόνα του πώς λειτουργούν στην πραγματικότητα οι ανιχνευτές AI καλύπτεται ξεχωριστά, και εξηγεί από πού προέρχεται το υπόλοιπο αυτού του αριθμού.

Ο ρυθμός από πρόταση σε πρόταση είναι ένα σχετικό αλλά ξεχωριστό σήμα, το οποίο καλύπτεται με τους δικούς του όρους από το burstiness checker, και εξετάζει πόση μεταβλητότητα υπάρχει σε ένα απόσπασμα, αντί για οποιαδήποτε μεμονωμένη λέξη.

Κανένας από αυτούς τους αριθμούς δεν μπορεί να αποδείξει ποιος έγραψε ένα έγγραφο, συμπεριλαμβανομένου του εκτιμώμενου Human Score που υπολογίζει το TextPulse από ένα υποβληθέν προσχέδιο, το οποίο περιγράφει το κείμενο αντί να εκδίδει κρίση γι' αυτό. Μια απλοποιημένη εκδοχή της ίδιας ιδέας, η ποικιλία του λεξιλογίου αντί της πλήρους πιθανότητας του μοντέλου, τροφοδοτεί το free perplexity checker σε αυτόν τον ιστότοπο, και αξίζει να το δοκιμάσετε απέναντι σε μια παράγραφο της οποίας η προέλευση είναι ήδη γνωστή πριν εμπιστευθείτε ό,τι λέει μια αναφορά για την προέλευση κάποιου άλλου.

Το perplexity checker βρίσκεται δίπλα στα υπόλοιπα free tools του TextPulse, έτσι ώστε μια πλήρης εξέταση ενός προσχεδίου, του λεξιλογίου, του ρυθμού και όλων των άλλων, να μην απαιτεί να είναι ανοιχτές ταυτόχρονα δώδεκα ξεχωριστές καρτέλες.

Η perplexity είναι μία από τις δύο στατιστικές στις οποίες βασίζονται αυτά τα συστήματα. Η άλλη είναι η burstiness, η μεταβολή στο μήκος και τη δομή των προτάσεων σε ένα απόσπασμα, και από κάτω και από τις δύο βρίσκεται η αριθμητική των πιθανοτήτων των token που παράγει εξαρχής τη βαθμολογία.

Ένας αριθμός σε μια αναφορά είναι το τέλος μιας μακράς αλυσίδας αριθμητικών πράξεων, όχι η αρχή μιας συζήτησης για το ποιος έγραψε κάτι. Το πιο ενδιαφέρον ερώτημα, αφού η αριθμητική παύει να είναι μυστηριώδης, είναι τι ακριβώς έκανε ένα έγγραφο απροσδόκητο ή προβλέψιμο εξαρχής, και αυτό είναι ένα ερώτημα για την ίδια τη γραφή.