Τι είναι η περιπλοκότητα στην ανίχνευση AI;

Αναζητήστε μαζί το perplexity και την ανίχνευση AI, και αρκετά από τα κορυφαία αποτελέσματα αποδεικνύεται ότι αφορούν ένα άσχετο προϊόν, μια μηχανή αναζήτησης με υποστήριξη AI που τυχαίνει επίσης να ονομάζεται Perplexity. Η μετρική που αναφέρει στην πραγματικότητα ένας ανιχνευτής δεν έχει τίποτε κοινό με εκείνη την εταιρεία, πέρα από τη λέξη. Προέρχεται από έρευνα στην αναγνώριση ομιλίας, δεκαετίες παλαιότερη από το GPTZero ή τη μηχανή αναζήτησης, και μετρά κάτι στενότερο και από τα δύο, το πόσο αιφνιδιασμένο είναι ένα γλωσσικό μοντέλο από τις λέξεις που βρίσκονται ήδη στη σελίδα.

Τι είναι λοιπόν το perplexity στην ανίχνευση AI; Το perplexity είναι ένας δείκτης που περιγράφει πόσο καλά ένα γλωσσικό μοντέλο προέβλεψε τις ακριβείς λέξεις σε ένα απόσπασμα, και παράγεται με τον υπολογισμό του μέσου όρου των ίδιων των πιθανοτήτων του μοντέλου και τη μετατροπή του αποτελέσματος σε έναν ενιαίο αριθμό. Χαμηλός δείκτης σημαίνει ότι το μοντέλο συνέχισε να μαντεύει σωστά. Υψηλός δείκτης σημαίνει ότι συνέχισε να αιφνιδιάζεται.

Η ιδέα είναι παλαιότερη από κάθε ανιχνευτή AI στην αγορά, και από μόνη της δεν λέει τίποτε για το ποιος έγραψε ένα έγγραφο. Μόλις η αριθμητική πίσω από τον αριθμό γίνει ορατή, ένας δείκτης σε μια αναφορά παύει να μοιάζει με ετυμηγορία και αρχίζει να μοιάζει με αυτό που πραγματικά είναι, μια περιγραφή της επιλογής λέξεων.

Τι είναι το perplexity στην ανίχνευση AI;

Το perplexity είναι μια μέτρηση δανεισμένη από τη γλωσσική μοντελοποίηση. Βαθμολογεί πόσο καλά ένα μοντέλο προέβλεψε τις συγκεκριμένες λέξεις που εμφανίζονται σε ένα απόσπασμα και αναφέρει αυτή τη βαθμολογία ως έναν ενιαίο αριθμό. Οι ανιχνευτές εφαρμόζουν την ίδια μέτρηση σε ένα υποβληθέν έγγραφο, ένας χαμηλός αριθμός, που σημαίνει ότι οι προβλέψεις του μοντέλου ταίριαζαν στενά με τις πραγματικές λέξεις, διαβάζεται ως ένδειξη μηχανικής συγγραφής, ενώ ένας υψηλός αριθμός διαβάζεται ως ένδειξη ανθρώπινης συγγραφής. Τίποτε στον υπολογισμό δεν διαβάζει το επιχείρημα του εγγράφου, τις παραπομπές του ή το θεματικό του αντικείμενο. Διαβάζει μόνο πόσο αναμενόμενη ήταν κάθε λέξη, μία κάθε φορά.

Οι ανιχνευτές δεν επινόησαν αυτή τη μέτρηση. Δανείστηκαν ένα εργαλείο που τα συστήματα αναγνώρισης ομιλίας και μηχανικής μετάφρασης χρησιμοποιούσαν ήδη επί δεκαετίες για να κρίνουν πόσο καλά ένα μοντέλο προέβλεπε την κοινή γλώσσα, και το επαναχρησιμοποίησαν ως έμμεσο δείκτη συγγραφής, έναν ρόλο για τον οποίο δεν είχε αρχικά κατασκευαστεί.

Τίποτε από αυτά δεν έχει καμία σχέση με τη μη σχετική μηχανή αναζήτησης που αναφέρθηκε νωρίτερα. Η perplexity που αναφέρει ένας ανιχνευτής δεν είναι ποτέ εταιρεία και δεν γράφεται ποτέ με κεφαλαίο αρχικό, είναι μια απλή στατιστική ιδιότητα μιας ακολουθίας λέξεων, η οποία υπολογίζεται εκ νέου από οποιοδήποτε κείμενο της δοθεί.

Πώς υπολογίζεται στην πραγματικότητα η perplexity

Ο υπολογισμός ανάγεται πολύ πιο πίσω από οποιοδήποτε προϊόν AI. Οι Frederick Jelinek, Robert Mercer, Lalit Bahl και James Baker εισήγαγαν την perplexity το 1977 για να μετρήσουν πόσο δύσκολη ήταν μια εργασία αναγνώρισης ομιλίας για ένα στατιστικό μοντέλο, δεκαετίες πριν κάποιος εφαρμόσει τον όρο σε ένα δοκίμιο ή σε μια εργαστηριακή αναφορά. Ο ορισμός δεν έχει αλλάξει από τότε.

Σε κάθε θέση ενός εγγράφου, το μοντέλο αποδίδει μια πιθανότητα για τη λέξη που πράγματι ακολουθεί, κάτι σαν 0.72 για μια συνηθισμένη μετάβαση ή 0.03 για μια ασυνήθιστη. Η perplexity υπολογίζει τον μέσο όρο των λογαρίθμων αυτών των πιθανοτήτων σε ολόκληρο το απόσπασμα, και έπειτα αντιστρέφει τον μέσο όρο με έναν εκθέτη.

Ο εκθέτης στο there's κάνει περισσότερα από όσα φαίνονται. Η λήψη του μέσου όρου των λογαρίθμων πιθανοτήτων είναι ακριβώς αυτό που κάνουμε όταν υπολογίζουμε την cross-entropy, δηλαδή τον θεωρητικοπληροφοριακό τρόπο να πούμε πόσα bits χρειάζεστε για να κωδικοποιήσετε μια ακολουθία με δεδομένες τις προβλέψεις που κάνει ένα μοντέλο. Όμως η perplexity μετατρέπει την καταμέτρηση των bits σε κάτι που μπορούμε να κατανοήσουμε καλύτερα, έναν αποτελεσματικό αριθμό επιλογών, αντί για μια αφηρημένη καταμέτρηση bits.

Ό,τι επιβιώνει από αυτή την αριθμητική έχει μια καθαρή, σχεδόν φυσική ερμηνεία. Ένα μοντέλο που είναι απολύτως βέβαιο κάθε φορά παράγει perplexity 1, το κατώτατο όριο της κλίμακας. Ένα μοντέλο που αντιμετωπίζει κάθε θέση ως ισοδύναμη κλήρωση ανάμεσα σε ογδόντα εξίσου πιθανούς λέξεις παράγει perplexity 80.

Τα περισσότερα πραγματικά έγγραφα καταλήγουν κάπου ανάμεσα σε αυτά τα δύο άκρα, και το ακριβές σημείο εξαρτάται από τον συγγραφέα, το θέμα και από το ποιο μοντέλο κάνει την ανάγνωση.

Γιατί η ανθρώπινη γραφή τείνει να βαθμολογείται διαφορετικά

Οι προσδοκίες ενός μοντέλου διαμορφώνονται εξ ολοκλήρου από ό,τι προηγήθηκε, μία λέξη τη φορά. Μετά τη φράση 'the treatment group showed a statistically', η συντριπτική πλειονότητα των καλοσχηματισμένων συνεχίσεων είναι 'significant', και ένα μοντέλο εκπαιδευμένο σε μεγάλο όγκο επιστημονικής γραφής αποδίδει σε αυτή τη λέξη υψηλή πιθανότητα χωρίς δισταγμό. Ένας ανθρώπινος συγγραφέας που φτάνει στην ίδια φράση μπορεί επίσης να καταλήξει στο 'significant', επειδή η ίδια η φράση αποτελεί σταθερό στοιχείο του είδους. Το χάσμα ανοίγει αλλού, στο ουσιαστικό που επιλέγεται δύο προτάσεις αργότερα, στην παρένθετη διευκρίνιση που προστίθεται σε παρενθέσεις, στον αριθμό που αναφέρεται με ένα παράξενο δεκαδικό ψηφίο αντί για έναν στρογγυλό.

Τίποτε από αυτά δεν είναι τέχνασμα. Όταν ένα άτομο που γράφει για πραγματικά δεδομένα προσπαθεί να βρει τον ακριβή αριθμό, τον ακριβή προσδιορισμό, τη λίγο στενότερη λέξη, αναζητεί στοιχεία που είναι αληθή για το έργο και όχι για το είδος. Και καθεμία από αυτές τις επιλογές κοστίζει στο μοντέλο λίγο περισσότερη έκπληξη. Η έκπληξη είναι αυτό που το σκορ έχει σχεδιαστεί να αθροίζει.

Το συμπέρασμα βασίζεται σε περισσότερη εργασία από όση μπορεί να υποστηρίξει η μέτρηση. Η perplexity μετρά άμεσα την προβλεψιμότητα. Συνάγει τη συγγραφή μόνο υποθέτοντας ότι η προβλέψιμη γραφή είναι σπάνια στους ανθρώπους και συνηθισμένη στα μοντέλα, μια υπόθεση που είναι συνήθως εύλογη και περιστασιακά λανθασμένη με έναν συγκεκριμένο, αναγνωρίσιμο τρόπο, αφού η προβλεψιμότητα είναι ιδιότητα που μπορεί να έχει το κείμενο για λόγους που δεν έχουν καμία σχέση με το ποιος το πληκτρολόγησε.

Γιατί το ίδιο απόσπασμα μπορεί να λάβει διαφορετικό σκορ

Το σκορ είναι επίσης λιγότερο φορητό από όσο φαίνεται, επειδή δεν μετριέται ποτέ σε κενό. Η perplexity υπολογίζεται πάντοτε σε σχέση με την εκπαίδευση ενός συγκεκριμένου μοντέλου αναφοράς, και αυτή η εξάρτηση δημιουργεί προβλήματα που κανένας μεμονωμένος ορισμός δεν μπορεί να δείξει από μόνος του.

Παράγοντας	Τι αλλάζει	Γιατί συμβαίνει
Ποιο μοντέλο κάνει την ανάγνωση	Η ίδια παράγραφος μπορεί να λάβει χαμηλή βαθμολογία σε ένα μοντέλο και υψηλή σε ένα άλλο	Η perplexity μετριέται πάντοτε μόνο σε σχέση με τα δεδομένα εκπαίδευσης ενός μοντέλου, και διαφορετικά μοντέλα εκπαιδεύτηκαν σε διαφορετικό κείμενο
Αν το απόσπασμα είναι ευρέως αναπαραγόμενο κείμενο	Ένα διάσημο ιστορικό έγγραφο ή ένας ορισμός από σχολικό εγχειρίδιο μπορεί να λάβει χαμηλή perplexity, ακόμη και όταν ένα άτομο πληκτρολόγησε κάθε λέξη του στον ανιχνευτή	Το Pangram Labs επισημαίνει τη Διακήρυξη της Ανεξαρτησίας ως παράδειγμα, είναι τόσο συχνά παρατεθειμένη στα δεδομένα εκπαίδευσης, ώστε ένα μοντέλο βρίσκει κάθε πρότασή της αναμενόμενη
Αν ο ανιχνευτής μπορεί να δει καθόλου τις πιθανότητες των token	Κλειστά εμπορικά μοντέλα όπως τα ChatGPT, Gemini και Claude δεν αποκαλύπτουν τις πιθανότητες ανά λέξη που χρειάζεται η perplexity	Οι ανιχνευτές προσεγγίζουν τη βαθμολογία με ένα υποκατάστατο ανοιχτό μοντέλο, αντί να υπολογίζουν την perplexity σε σχέση με το μοντέλο που πραγματικά παρήγαγε το κείμενο

Τίποτε από αυτά δεν καθιστά τον αριθμό χωρίς νόημα, μόνο πιο επικίνδυνο να τον εμπιστευθεί κανείς ως απόφαση από μόνο του. Η ίδια η τεκμηρίωση του GPTZero κάποτε δημοσίευσε έναν πρόχειρο εμπειρικό κανόνα, σύμφωνα με τον οποίο μια perplexity πάνω από 85 διαβαζόταν ως πιο πιθανό να είναι ανθρώπινη, αλλά το όριο ενός μόνο παρόχου σε ένα μοντέλο δεν μεταφέρεται σε διαφορετικό εργαλείο που μετριέται σε σχέση με διαφορετικό μοντέλο. Ένας ανιχνευτής που αναφέρει μία μόνο βαθμολογία συμπυκνώνει όλους τους παραπάνω παράγοντες σε ένα μόνο μέγεθος, χωρίς να λέει ποιος από αυτούς έκανε τη δουλειά.

Τι σας λέει στην πραγματικότητα μια βαθμολογία perplexity

Οι εμπορικοί ανιχνευτές συνδυάζουν την perplexity με μοτίβα σε επίπεδο πρότασης, εκπαίδευση ταξινομητή και αρκετά άλλα σήματα πριν καν εμφανίσουν έναν μόνο αριθμό σε μια αναφορά. Η πληρέστερη εικόνα του πώς λειτουργούν στην πραγματικότητα οι ανιχνευτές AI καλύπτεται ξεχωριστά, και εξηγεί από πού προέρχεται το υπόλοιπο αυτού του αριθμού.

Ο ρυθμός από πρόταση σε πρόταση είναι ένα σχετικό αλλά ξεχωριστό σήμα, το οποίο καλύπτεται με τους δικούς του όρους από το burstiness checker, και εξετάζει πόση μεταβολή υπάρχει σε ένα απόσπασμα, αντί για οποιαδήποτε μεμονωμένη λέξη.

Κανένας από αυτούς τους αριθμούς δεν μπορεί να αποδείξει ποιος έγραψε ένα έγγραφο, συμπεριλαμβανομένου του εκτιμώμενου Human Score που υπολογίζει το TextPulse από ένα υποβληθέν προσχέδιο, το οποίο περιγράφει το κείμενο αντί να εκδίδει κρίση γι' αυτό. Μια απλοποιημένη εκδοχή της ίδιας ιδέας, η ποικιλία του λεξιλογίου αντί της πλήρους πιθανότητας του μοντέλου, τροφοδοτεί το free perplexity checker σε αυτόν τον ιστότοπο, το οποίο αξίζει να δοκιμάσετε σε μια παράγραφο της οποίας η προέλευση είναι ήδη γνωστή, πριν εμπιστευτείτε όσα λέει μια αναφορά για το κείμενο κάποιου άλλου.

Το perplexity checker βρίσκεται μαζί με τα υπόλοιπα free tools του TextPulse, έτσι ώστε μια πλήρης εξέταση ενός προσχεδίου, του λεξιλογίου, του ρυθμού και όλων των άλλων, να μην απαιτεί να είναι ανοιχτές ταυτόχρονα δώδεκα ξεχωριστές καρτέλες.

Το perplexity είναι μία από τις δύο στατιστικές στις οποίες βασίζονται αυτά τα συστήματα. Η άλλη είναι το burstiness, η μεταβολή στο μήκος και τη δομή των προτάσεων σε ένα απόσπασμα, και κάτω από τα δύο βρίσκεται η αριθμητική της πιθανότητας των token που παράγει εξαρχής τη βαθμολογία.

Ένας αριθμός σε μια αναφορά είναι το τέλος μιας μακράς αλυσίδας αριθμητικών πράξεων, όχι η αρχή ενός επιχειρήματος για το ποιος έγραψε κάτι. Το πιο ενδιαφέρον ερώτημα, αφού η αριθμητική παύει να είναι μυστηριώδης, είναι τι ακριβώς έκανε ένα έγγραφο απροσδόκητο ή προβλέψιμο εξαρχής, και αυτό είναι ένα ερώτημα για το ίδιο το κείμενο.