Πώς λειτουργούν οι ανιχνευτές AI; Αμηχανία, εκρηκτικότητα και πιθανότητα token

Το πανεπιστήμιό σας έχει αρχίσει να περνά τις υποβολές από έναν ανιχνευτή AI, και έχει επιστρέψει μια αναφορά με έναν αριθμό που δεν περιμένατε. Πριν προσπαθήσετε να τον αμφισβητήσετε, είναι χρήσιμο να ξέρετε τι σημαίνει αυτός ο αριθμός. Πώς λειτουργούν οι ανιχνευτές AI; Δεν διαβάζουν τη γραφή μηχανής όπως το κάνει ένας άνθρωπος. Μετρούν πόσο προβλέψιμο είναι το κείμενό σας για ένα γλωσσικό μοντέλο, και έπειτα μετατρέπουν αυτή την προβλεψιμότητα σε βαθμολογία. Τίποτε σε αυτή τη διαδικασία δεν εξετάζει τι εννοείτε, το επιχείρημά σας, ή αν γράψατε πράγματι το κείμενο.

Έχω περάσει χρόνια αναπτύσσοντας εργαλεία που αναλύουν στατιστικά το κείμενο, και το πιο χρήσιμο πράγμα που πρέπει να κατανοήσει κανείς για την ανίχνευση είναι το εξής, πρόκειται για μέτρηση της τυπικότητας, όχι της προέλευσης. Μόλις αυτό γίνει κατανοητό, τόσο η τεχνολογία όσο και οι αποτυχίες της αποκτούν πολύ περισσότερο νόημα.

Τι μετρά πραγματικά ένας ανιχνευτής

Ένας ανιχνευτής δεν ξέρει ποιος έγραψε οτιδήποτε. Αυτό που διαθέτει είναι ένα γλωσσικό μοντέλο και μια συνάρτηση βαθμολόγησης. Το μοντέλο διαβάζει το κείμενό σας από αριστερά προς τα δεξιά, και σε κάθε σημείο παράγει μια κατανομή πιθανοτήτων για το ποια λέξη πρέπει να ακολουθήσει. Δώστε του τις λέξεις "the results of the" και θα κατατάξει το "study" υψηλότερα, το "experiment" λίγο χαμηλότερα, και το "marmalade" κάπου κοντά στο μηδέν.

Έτσι, ο ανιχνευτής θέτει ένα ερώτημα στο έγγραφό σας, πόσο συχνά επέλεξε αυτό το κείμενο τη λέξη που το μοντέλο περίμενε; Η γραφή που συνεχώς καταλήγει σε λέξεις υψηλής πιθανότητας μοιάζει μηχανικά παραγόμενη, επειδή ακριβώς αυτό κάνει ένας γεννήτορας κειμένου. Το μοντέλο δειγματοληπτεί από την κορυφή της δικής του κατανομής, ξανά και ξανά, για χιλιάδες tokens.

Γι' αυτό ολόκληρη αυτή η κατηγορία βρίσκεται σε πιο ασταθές έδαφος από όσο υπονοεί το μάρκετινγκ. Ένας ανιχνευτής δεν βρίσκει υδατογράφημα ή δακτυλικό αποτύπωμα. Παρατηρεί ότι η πρόζα σας είναι στατιστικά αναμενόμενη, και η μη αναμενόμενη πρόζα έχει πολλές αιτίες πέρα από ένα chatbot.

Perplexity, πόσο έκπληκτο είναι το μοντέλο

Το βασικό μέτρο ονομάζεται perplexity, και είναι πιο απλό απ’ όσο ακούγεται. Πάρτε την πιθανότητα που απέδωσε το μοντέλο σε κάθε λέξη που πράγματι εμφανίστηκε, υπολογίστε τον μέσο όρο των λογαρίθμων αυτών των πιθανοτήτων και υψώστε το αποτέλεσμα στη δύναμη του e. Αυτό που προκύπτει είναι ένας ενιαίος αριθμός που περιγράφει πόσο εκπλήχθηκε το μοντέλο από το έγγραφό σας. Μπορείτε να ελέγξετε το perplexity του δικού σας προσχεδίου αντί να το μαντεύετε.

Χαμηλό perplexity σημαίνει ότι το κείμενο κινήθηκε εκεί όπου το μοντέλο το περίμενε. Υψηλό perplexity σημαίνει ότι συνέχισε να παίρνει στροφές που το μοντέλο δεν περίμενε. Η ανθρώπινη γραφή τείνει να βρίσκεται ψηλότερα, επειδή οι άνθρωποι καταφεύγουν στο παράξενο, συγκεκριμένο ουσιαστικό, στην ασυνήθιστη σύνταξη, στην πρόταση που αρχίζει από ένα απροσδόκητο σημείο. Το παραγόμενο κείμενο τείνει να βρίσκεται χαμηλότερα, επειδή η διαδικασία αποκωδικοποίησης έχει σχεδιαστεί ώστε να αποφεύγει ακριβώς αυτές τις κινήσεις.

Συγκρίνετε δύο τρόπους να ανοίξει μια ενότητα μεθόδων. Το "The results of the study were statistically significant" είναι μια ακολουθία που σχεδόν κάθε μοντέλο θα προέβλεπε με υψηλή βεβαιότητα, επειδή δεν μεταφέρει απροσδόκητη πληροφορία. Το "Two of the three cohorts drifted before week six, which we had not planned for" είναι πολύ λιγότερο προβλέψιμο, επειδή μεταφέρει συγκεκριμένη, αδέξια πληροφορία που δεν θα μπορούσε να μαντευτεί από το υπόλοιπο άρθρο. Η δεύτερη πρόταση κοστίζει στον ανιχνευτή πραγματική έκπληξη, και αυτή η έκπληξη είναι αυτό που καταγράφεται ως ανθρώπινο.

Burstiness: η διακύμανση, όχι ο μέσος όρος

Το perplexity από μόνο του δεν αρκεί, επειδή ένα έγγραφο μπορεί, κατά μέσο όρο, να καταλήγει σε έναν απολύτως εύλογο αριθμό ενώ από κάτω να είναι ύποπτα ομοιόμορφο. Αυτό που έχει σημασία είναι η μεταβολή σε όλο το κείμενό σας, και αυτό ακριβώς μετρά το burstiness: πόσο μεταβάλλονται το μήκος των προτάσεων και το perplexity σε επίπεδο πρότασης καθώς η γραφή προχωρά. Ένας burstiness checker θα σας δείξει άμεσα αυτή την κατανομή.

Επιταχύνουμε όταν είμαστε βέβαιοι και επιβραδύνουμε όταν επιφυλασσόμαστε, και αυτός ο ρυθμός περνά και στην πρόζα. Οι άνθρωποι γράφουν σε εξάρσεις. Μια παράγραφος μπορεί να ανοίγει με μια σύντομη δηλωτική πρόταση οκτώ λέξεων, να περνά σε μια πρόταση τριάντα τεσσάρων λέξεων που περιέχει τρεις προτάσεις και μια παρένθεση, και έπειτα να επιστρέφει σε κάτι σύντομο.

Η έξοδος του μοντέλου δεν το κάνει αυτό αξιόπιστα. Οι προτάσεις συγκεντρώνονται κοντά στο μέσο μήκος. Οι παράγραφοι εμφανίζονται σε τακτοποιημένες δέσμες. Κάθε ενότητα αρχίζει επαναδιατυπώνοντας τη δική της επικεφαλίδα. Διαβάζεται ομαλά και βαθμολογείται άσχημα, επειδή η χαμηλή διακύμανση μεταξύ προτάσεων είναι ένα από τα ισχυρότερα σήματα που διαθέτει ένας ανιχνευτής. Δεν είναι κάποια μεμονωμένη πρόταση που το προδίδει. Είναι η ομοιομορφία.

Σήμα	Τι μετρά	Γιατί το μηχανικό κείμενο βαθμολογείται χαμηλά
Perplexity	Πόσο εκπλήσσεται το μοντέλο από τις επιλογές των λέξεών σας, κατά μέσο όρο σε όλο το έγγραφο	Η αποκωδικοποίηση δειγματοληπτεί, εκ κατασκευής, από διακριτικά υψηλής πιθανότητας
Burstiness	Πόσο μεταβάλλονται το μήκος των προτάσεων και η προβλεψιμότητα σε όλο το κείμενο	Η έξοδος συγκεντρώνεται κοντά στον μέσο όρο αντί να παρουσιάζει διακυμάνσεις
Token probability	Η πιθανότητα ανά λέξη από την οποία υπολογίζονται τα άλλα δύο	Μεγάλες ακολουθίες μεμονωμένα μη αξιοσημείωτων επιλογών

Η πιθανότητα token και από πού προέρχεται η βαθμολογία

Και οι δύο αυτοί αριθμοί βασίζονται σε έναν τρίτο, τη λογαριθμική πιθανοφάνεια ανά token, δηλαδή την πρώτη ύλη από την οποία υπολογίζονται όλα τα υπόλοιπα. Ορισμένα εργαλεία σάς τη δείχνουν απευθείας, επισημαίνοντας τα τμήματα όπου το κείμενό σας ήταν πιο προβλέψιμο. Αυτές οι επισημάνσεις δεν αποτελούν κατηγορίες για συγκεκριμένες προτάσεις, ό,τι κι αν υπονοεί η διεπαφή. Είναι τα μέρη που συνέβαλαν περισσότερο σε έναν αριθμό σε επίπεδο εγγράφου.

Οι ερευνητικές προσεγγίσεις έχουν προχωρήσει πέρα από τα απλά κατώφλια. DetectGPT και οι απόγονοί του εξετάζουν την καμπυλότητα, διαταράσσουν ελαφρά το κείμενό σας και ελέγχουν αν η πιθανοφάνεια μειώνεται με το μοτίβο που τείνει να εμφανίζει το παραγόμενο κείμενο. Άλλες συγκρίνουν το ίδιο απόσπασμα υπό δύο διαφορετικά μοντέλα και χρησιμοποιούν τη διαφωνία ως σήμα.

Μία συνέπεια έχει σημασία για οποιονδήποτε αξιολογείται. Επειδή οι μετρικές υπολογίζονται σε σχέση με ένα συγκεκριμένο μοντέλο αναφοράς, μια βαθμολογία είναι πάντοτε σχετική προς αυτό το μοντέλο. Δύο ανιχνευτές μπορούν να διαβάσουν την ίδια παράγραφο και να διαφωνήσουν πλήρως, και κανένας από τους δύο δεν δυσλειτουργεί. Απαντούν στο ίδιο ερώτημα με διαφορετικά σημεία αναφοράς.

Η δεύτερη συνέπεια αναφέρεται λιγότερο συχνά. Ένα μοντέλο μπορεί να εντοπίσει ένα απόσπασμα ως προβλέψιμο μόνο αν το απόσπασμα μοιάζει με ό,τι χρησιμοποιήθηκε για την εκπαίδευσή του, έτσι η ποιότητα της ανίχνευσης υποβαθμίζεται όσο μεγαλώνει το χάσμα ανάμεσα στο μοντέλο αναφοράς και σε ό,τι παρήγαγε το κείμενο. Νεότερες γεννήτριες, ασυνήθιστοι κλάδοι και γλώσσες άλλες από τα Αγγλικά ανοίγουν όλα αυτό το χάσμα. Αυτό εξηγεί εν μέρει γιατί η ακρίβεια που μετριέται σε ένα ελεγχόμενο benchmark σπάνια αντέχει όταν έρχεται σε επαφή με μια πραγματική στοίβα υποβολών.

Γιατί το κείμενο AI ανιχνεύεται καθόλου

Πώς ένα Language Model επιλέγει την επόμενη λέξη του

Αν αφεθεί μόνο του, ένα language model θα ανέφερε απλώς ολόκληρη την ιεραρχημένη λίστα των πιθανών επόμενων λέξεών του και θα άφηνε κάτι άλλο να επιλέξει. Στην πράξη, μια στρατηγική αποκωδικοποίησης κάνει αυτή την επιλογή αυτόματα, λέξη προς λέξη, και το ποια στρατηγική εκτελείται αλλάζει την όψη του αποτελέσματος ακόμη και όταν το υποκείμενο μοντέλο δεν αλλάζει ποτέ.

Η greedy decoding επιλέγει πάντοτε τη μοναδική λέξη με τη μεγαλύτερη πιθανότητα. Στο άρθρο που εισήγαγε το nucleus sampling ως λύση, ο Ari Holtzman και οι συνσυγγραφείς του παρατήρησαν ότι η ακολουθία αυτής της στρατηγικής οδηγεί σε κείμενο που είναι, με τα δικά τους λόγια, 'bland and strangely repetitive.' Η beam search, η οποία παρακολουθεί ταυτόχρονα αρκετές πιθανές συνέχειες πριν καταλήξει σε μία, συναντά μια παρόμοια εκδοχή του ίδιου προβλήματος.

Οι στρατηγικές δειγματοληψίας επανεισάγουν κάποια τυχαιότητα, αλλά με ελεγχόμενο τρόπο. Η θερμοκρασία ρυθμίζει πόσο έντονα το μοντέλο ευνοεί τις δικές του κορυφαίες επιλογές πριν επιλεγεί μια λέξη. Το nucleus sampling, που μερικές φορές ονομάζεται top-p, περικόπτει την κατανομή στο μικρότερο σύνολο λέξεων των οποίων η συνδυασμένη πιθανότητα υπερβαίνει ένα κατώφλι και δειγματοληπτεί μόνο από αυτό το σύνολο, το οποίο στο αρχικό άρθρο περιγράφεται ως δειγματοληψία από έναν δυναμικό πυρήνα της κατανομής και όχι από την αναξιόπιστη ουρά της.

Ακόμη και η λιγότερο ντετερμινιστική από αυτές τις ρυθμίσεις αντλεί εξακολουθητικά από μια σύντομη λίστα που έχει διαμορφωθεί γύρω από ό,τι το μοντέλο ήδη θεωρεί πιθανό. Η ανθρώπινη γραφή δεν παρήχθη ποτέ με την κατάταξη ενός λεξιλογίου και την επιλογή από την κορυφή του, έτσι υπερβαίνει διαρκώς αυτή τη σύντομη λίστα. Το νόημα μερικές φορές κατοικεί στη λέξη που δεν βρέθηκε ποτέ στη λίστα.

Επιπεδότητα Λεξιλογίου: Λιγότερες, Πιο Ασφαλείς Λέξεις

Η επιπεδότητα λεξιλογίου είναι η εκδοχή σε επίπεδο λέξης της ίδιας συνήθειας. Σε κάθε σημείο μιας πρότασης, δεκάδες λέξεις θα μπορούσαν εύλογα να τη συνεχίσουν, αλλά μια χούφτα βρίσκονται πολύ πάνω από τις υπόλοιπες στην κατάταξη του μοντέλου, και η αποκωδικοποίηση καταλήγει διαρκώς σε αυτή τη χούφτα. Αν πολλαπλασιάσει κανείς αυτή την επιλογή σε κάθε πρόταση ενός κειμένου, το εύρος των λέξεων που χρησιμοποιούνται πραγματικά στενεύει μετρήσιμα σε σύγκριση με ένα ανθρώπινο κείμενο παρόμοιου μήκους.

Το αποτέλεσμα συσσωρεύεται αντί να παραμένει σταθερό. Ένα μοντέλο που επιλέγει τη λέξη με την υψηλότερη κατάταξη στην πρώτη πρόταση είναι πιθανότερο να διαμορφώσει ένα πλαίσιο όπου η λέξη με την υψηλότερη κατάταξη στη δεύτερη πρόταση είναι επίσης κοινή, επειδή οι κοινές λέξεις τείνουν να ακολουθούν κοινές λέξεις. Ένας ανθρώπινος συγγραφέας διακόπτει διαρκώς αυτή την ολίσθηση, επιλέγοντας τον συγκεκριμένο τεχνικό όρο, το ελαφρώς ασυνήθιστο ρήμα, τη λέξη που ονομάζει το πραγματικό πράγμα αντί για μια ασφαλή προσέγγισή του. Αυτή η διαφορά αποτυπώνεται ως μετρήσιμα μικρότερο λειτουργικό λεξιλόγιο στην παραγόμενη εκδοχή, ακόμη και όταν και οι δύο εκδοχές περιγράφουν τα ίδια υποκείμενα γεγονότα.

Αυτό είναι ιδιότητα ολόκληρου του αποσπάσματος, όχι οποιασδήποτε μεμονωμένης επιλογής λέξης. Μια ασφαλής λέξη δεν αποδεικνύει τίποτα. Μια σελίδα από αυτές, με πρόταση μετά την πρόταση να καταφεύγει στην ίδια βαθμίδα κοινού λεξιλογίου, είναι αυτό που το σήμα σε επίπεδο λέξης ενός ανιχνευτή έχει πράγματι σχεδιαστεί να εντοπίζει.

Συντακτική Ομοιομορφία: Οι Ίδιες Μορφές, Επαναλαμβανόμενες

Η συντακτική ομοιομορφία είναι η εκδοχή σε επίπεδο πρότασης. Δεν αφορά το πόσο μεγάλη είναι μια πρόταση. Αφορά πόσες διακριτές γραμματικές μορφές χρησιμοποιεί ένα απόσπασμα, πώς ανοίγουν οι προτάσεις, πώς οι προτάσεις συνδέονται μεταξύ τους, πόσο συχνά μια λέξη μετάβασης αναλαμβάνει το έργο της σύνδεσης μιας ιδέας με την επόμενη. Ένα μοντέλο που συνεχίζει να προβλέπει τη στατιστικά πιθανή επόμενη δομή εγκαθίσταται σε μια μικρή εναλλαγή μορφών και την επαναλαμβάνει.

Μια παράγραφος μπορεί να παρουσιάζει ποικιλία στα μήκη των προτάσεών της και παρ' όλα αυτά να διαβάζεται ως συντακτικά επίπεδη, αν κάθε πρόταση ακολουθεί το ίδιο σχήμα υποκείμενο, ρήμα, συμπλήρωμα, αν αρχίζει με το ίδιο είδος μετάβασης ή αν καταλήγει με τον ίδιο τρόπο. Η προβλεψιμότητα βρίσκεται στο μοτίβο, όχι στον αριθμό των λέξεων, μια διάκριση που εξετάζεται πιο αναλυτικά στον οδηγό για το τι μετρά στην πραγματικότητα το burstiness.

Τι περιορίζει	Τι τείνει να κάνει το κείμενο βελτιστοποιημένο για αποκωδικοποίηση	Τι τείνει να κάνει η ανθρώπινη γραφή
Επιλογή λέξεων	Καταλήγει στην πιο πιθανή κοινή λέξη σε κάθε βήμα	Αναζητά τη συγκεκριμένη ή λιγότερο συνηθισμένη λέξη που ονομάζει το πραγματικό πράγμα
Έναρξη πρότασης	Επαναλαμβάνει μια μικρή εναλλαγή ασφαλών μεταβατικών αρχών	Μεταβάλλει τον τρόπο με τον οποίο αρχίζει μια πρόταση, συμπεριλαμβανομένων αρχών που ένα μοντέλο θα κατέτασσε ως λιγότερο πιθανές
Δομή πρότασης	Επαναλαμβάνει ένα ή δύο προτιμώμενα γραμματικά σχήματα σε όλο το απόσπασμα	Συνδυάζει απλές και σύνθετες δομές ανάλογα με το τι χρειάζεται μια πρόταση

Οι επιλογές που τείνει να κάνει μόνο ένας άνθρωπος

Η άλλη όψη μιας στενής ζώνης είναι ό,τι μένει έξω από αυτήν. Ένα άτομο που περιγράφει πραγματικά γεγονότα επιλέγει τον ακριβή αριθμό αντί για έναν στρογγυλό, παραδέχεται το μέρος που δεν λειτούργησε, διακόπτει μια πρόταση για να τη διορθώσει εν μέσω σκέψης ή επιλέγει μια λέξη που είναι σωστή και όχι τυπική. Κάθε μία από αυτές τις επιλογές είναι, από την οπτική ενός γλωσσικού μοντέλου, ένα χαμηλής πιθανότητας token, ακριβώς το είδος που η αποκωδικοποίηση έχει σχεδιαστεί να αποφεύγει.

Τίποτε από αυτά δεν σημαίνει ότι η συγκεκριμένη ή ασυνήθιστη γραφή είναι ασφαλής από κάθε ένδειξη, ή ότι η άρτια, σωστή γραφή είναι εξ ορισμού ύποπτη. Μια ενότητα μεθόδων, μια νομική ρήτρα ή ένα σε μεγάλο βαθμό επιμελημένο τελικό προσχέδιο μπορεί να βρεθεί σε μια στενή ζώνη για λόγους που δεν έχουν καμία σχέση με ένα μοντέλο, και γι' αυτό μια μεμονωμένη βαθμολογία είναι περιγραφή ενός μοτίβου και όχι ετυμηγορία για το ποιος το πληκτρολόγησε.

Το να βλέπετε πού βρίσκεται το δικό σας προσχέδιο σε εκείνη την κλίμακα είναι πιο χρήσιμο από το να μαντεύετε. Το free perplexity checker και το burstiness checker του TextPulse μετρούν ξεχωριστά την προβλεψιμότητα σε επίπεδο λέξης και τον ρυθμό από πρόταση σε πρόταση, έτσι ώστε ένα επίπεδο λεξιλόγιο και μια επαναλαμβανόμενη μορφή πρότασης να εμφανίζονται ως δύο διαφορετικά σήματα αντί για έναν συγχωνευμένο αριθμό.

Από αυτό προκύπτουν δύο στενότερες σελίδες. Το How Turnitin detects AI specifically είναι η μία, και the difference between its similarity score and its AI score είναι η άλλη, αφού τα δύο συγχέονται συστηματικά μεταξύ τους.

Και οι δύο εντάσσονται στη ευρύτερη free tools collection, για όποιον θέλει να δει το μοτίβο μόνος του, αντί να εμπιστευτεί τυφλά έναν μόνο αριθμό.

Πόσο από τον ιστό παράγεται πλέον από AI;

Με βάση αρκετά μέτρα, το κείμενο που παράγεται από μηχανές υπερβαίνει πλέον το κείμενο που γράφεται από ανθρώπους στο διαδίκτυο. Μια ομάδα στο Amazon Web Services ανέλυσε 6.4 δισεκατομμύρια προτάσεις από τον ιστό και διαπίστωσε ότι το 57.1% υπήρχε ως μηχανική μετάφραση σε τρεις ή περισσότερες γλώσσες, μεγάλο μέρος του χαμηλής ποιότητας. Μια ανάλυση του 2025 από την εταιρεία SEO Graphite διαπίστωσε ότι λίγο πάνω από το μισό των άρθρων που δημοσιεύθηκαν πρόσφατα στον ιστό ήταν παραγόμενο από AI. Η Wikipedia δεν εξαιρείται: μια μελέτη του Princeton σε σελίδες που δημιουργήθηκαν τον Αύγουστο του 2024 μέτρησε περίπου μία στις είκοσι νέες αγγλικές σελίδες ως ουσιαστικά παραγόμενη από AI.

Το ποσοστό αυξάνεται, επειδή το κόστος εξόδου των μοντέλων είναι κατά τάξεις μεγέθους χαμηλότερο από τη γραφή από ανθρώπους και κάθε εμπορικό κίνητρο δείχνει προς την ίδια κατεύθυνση. Ολόκληρες πλατφόρμες λειτουργούν πλέον χωρίς καθόλου ανθρώπινους συγγραφείς: το Chirper είναι ένα κοινωνικό δίκτυο που αποτελείται αποκλειστικά από λογαριασμούς AI, όπου οι άνθρωποι μπορούν μόνο να παρακολουθούν, και το SocialAI πουλά μια ροή στην οποία κάθε απάντηση προς εσάς είναι bot. Τα φόρουμ, οι ενότητες αξιολογήσεων και τα νήματα σχολίων παρουσιάζουν το ίδιο μοτίβο σε μικρότερη κλίμακα.

Για την ανίχνευση αυτό αλλάζει το βασικό ποσοστό. Ένας ταξινομητής που διαβάζει αυθαίρετο κείμενο του ιστού το 2023 θα μπορούσε να υποθέσει ότι το μεγαλύτερο μέρος του ήταν ανθρώπινο, ένας ταξινομητής το 2026 δεν μπορεί. Επίσης, αυτό ανατροφοδοτεί τα ίδια τα μοντέλα, αφού κάθε νέα γενιά εκπαιδεύεται σε έναν ιστό στον οποίο οι προκάτοχοί της είχαν ήδη γράψει, και αυτός είναι ένας λόγος για τον οποίο οι συνήθειες λεξιλογίου στις οποίες εστιάζουν οι ανιχνευτές εξαπλώνονται αντί να εξασθενούν.

Για τη δική σας γραφή η συνέπεια είναι σαφής: η γραφή που έχει παραχθεί από ανθρώπους γίνεται η μειοψηφική κατηγορία, και οι εξεταστές, οι επιμελητές και οι αναγνώστες το γνωρίζουν. Η αυξημένη καχυποψία είναι πλέον το προεπιλεγμένο καθεστώς, και ακριβώς γι' αυτό αξίζει να κατανοήσετε τι μπορεί και τι δεν μπορεί να μετρήσει ένας ανιχνευτής.

Τι προσθέτουν οι εμπορικοί ανιχνευτές από πάνω

Τα εργαλεία που αγοράζουν πραγματικά τα ιδρύματα δεν εκτελούν τη σχολική περιπλοκότητα. Το Turnitin, το GPTZero, το Originality και τα υπόλοιπα εκπαιδεύουν επιβλεπόμενους ταξινομητές σε μεγάλα επισημασμένα σύνολα ανθρώπινου και μηχανικού κειμένου, χρησιμοποιώντας στατιστικά χαρακτηριστικά μαζί με υφολογικά. Αυτό που μαθαίνει ο ταξινομητής είναι οτιδήποτε διαχωρίζει αυτούς τους δύο σωρούς στα δεδομένα εκπαίδευσής του, κάτι πιο στενό και πιο ιστορικό από τη γενική "AI writing".

Η εξάρτηση από την εκπαίδευση είναι το ήσυχο πρόβλημα. Ένας ταξινομητής που εκπαιδεύτηκε κυρίως σε μία γενιά εξόδου μοντέλου πρέπει να γενικεύσει σε νεότερα μοντέλα, σε άγνωστες επιστημονικές περιοχές και σε συγγραφείς των οποίων τα αγγλικά δεν μοιάζουν με την κατανομή εκπαίδευσής του. Οι προμηθευτές δημοσιεύουν ποσοστά ακρίβειας από τις δικές τους αξιολογήσεις, και τα ανεξάρτητα benchmarks καταλήγουν συστηματικά πολύ χαμηλότερα από αυτά τα νούμερα στα ίδια εργαλεία.

Πώς να διαβάζετε μια βαθμολογία χωρίς να την υπερερμηνεύετε

Μια αναφορά ανιχνευτή συνήθως εμφανίζεται ως ποσοστό, και αυτό το ποσοστό παρερμηνεύεται συστηματικά. Δεν είναι το ποσοστό του εγγράφου σας που γράφτηκε από μηχανή. Ανάλογα με το εργαλείο, είναι η βεβαιότητα του ταξινομητή, ή το ποσοστό των προτάσεων που πέρασαν κάποιο εσωτερικό κατώφλι, και οι προμηθευτές συχνά είναι ασαφείς ως προς το ποιο από τα δύο ισχύει. Δύο αναφορές που δείχνουν και οι δύο εξήντα τοις εκατό μπορεί να σημαίνουν αρκετά διαφορετικά πράγματα.

Αξίζει επίσης να γνωρίζει κανείς τι μεταβάλλει μια βαθμολογία για λόγους που δεν έχουν καμία σχέση με το ποιος την έγραψε. Τα σύντομα κείμενα είναι πιο θορυβώδη, επειδή υπάρχει λιγότερο κείμενο ώστε οι μέσοι όροι να σταθεροποιηθούν, και μια έκθεση πεντακοσίων λέξεων μπορεί να μεταβληθεί σημαντικά με βάση δύο ή τρεις ασυνήθιστες προτάσεις. Το παρατιθέμενο υλικό μετρά επίσης, εκτός αν το εργαλείο το αφαιρεί, οπότε μια βιβλιογραφική επισκόπηση γεμάτη με block quotes κληρονομεί την προβλεψιμότητα όσων παραθέτει. Ένα τεχνικό απόσπασμα φορτωμένο με καθιερωμένη ορολογία συμπεριφέρεται με τον ίδιο τρόπο.

Αν λάβετε μια επισήμανση, η χρήσιμη απάντηση είναι τα τεκμήρια και όχι ένα επιχείρημα για τη μετρική. Το ιστορικό εκδόσεων, τα προσχέδια, οι σημειώσεις και τα αρχεία αναζήτησης μιλούν όλα για τη διαδικασία, και η διαδικασία είναι αυτό που μπορεί πράγματι να αξιολογήσει μια επιτροπή δεοντολογικής παραβίασης. Δεν υπάρχει κανένα όριο στο οποίο μπορεί να δείξει κανείς και να πει ότι διαχωρίζει έναν προσεκτικό συγγραφέα από ένα μοντέλο.

Γιατί οι ανιχνευτές επισημαίνουν γραφή που δεν παρήγαγε κανένα μοντέλο

Τα ψευδώς θετικά δεν αποτελούν σπάνια δυσλειτουργία. Προκύπτουν άμεσα από τη μέτρηση της τυπικότητας. Κάθε γραφή που είναι πράγματι προβλέψιμη θα λάβει βαθμολογία ως προβλέψιμη, ανεξάρτητα από το ποιος την παρήγαγε.

Οι συγγραφείς που δεν έχουν τα αγγλικά ως μητρική γλώσσα επηρεάζονται περισσότερο. Ερευνητές του Stanford διαπίστωσαν ότι οι ανιχνευτές κατέταξαν εσφαλμένα ως παραγόμενα από μηχανή μεγάλο μέρος των εκθέσεων μη μητρικών ομιλητών, ενώ κατέταξαν σωστά τις εκθέσεις φυσικών ομιλητών. Ο λόγος είναι μηχανικός και όχι κακόβουλος, οι συγγραφείς που εργάζονται σε δεύτερη γλώσσα τείνουν να βασίζονται σε καθιερωμένες δομές και σε πιο κοινό λεξιλόγιο. Αυτό ακριβώς είναι το προφίλ της χαμηλής perplexity, και γι' αυτό οι ESL writers get flagged for writing carefully.

Οι ακαδημαϊκές συμβάσεις προκαλούν το ίδιο πρόβλημα. Μια ενότητα μεθόδων υποτίθεται ότι είναι τυποποιημένη. Η νομική γραφή, η τεχνική τεκμηρίωση και η κλινική αναφορά επιβραβεύουν όλες τη συνήθη διατύπωση περισσότερο από την ευρηματική. Η εκτεταμένη επιμέλεια το επιτείνει περαιτέρω, αφού η βελτίωση ενός προσχεδίου συνήθως σημαίνει την αφαίρεση των ανωμαλιών που έφεραν τη στατιστική σας υπογραφή.

Τα ιδρύματα το έχουν παρατηρήσει. Το Vanderbilt απενεργοποίησε τη λειτουργία ανίχνευσης AI του Turnitin αντί να ενεργήσει βάσει βαθμολογιών που δεν μπορούσε να επαληθεύσει, και άλλα πανεπιστήμια έχουν περιορίσει τον τρόπο με τον οποίο οι αριθμοί μπορούν να χρησιμοποιηθούν σε διαδικασίες για παραπτώματα. Αντιμετωπίστε μια βαθμολογία ανιχνευτή ως ένα αδύναμο στοιχείο τεκμηρίωσης, όχι ως ετυμηγορία.

Τι σημαίνει αυτό για τη δική σας γραφή

Η πρακτική συμβουλή που προκύπτει από τους μηχανισμούς δεν είναι εξωτική, και τίποτα από αυτά δεν αφορά το να χειραγωγήσετε οτιδήποτε. Μεταβάλλετε σκόπιμα το μήκος των προτάσεών σας, επειδή η ομοιομορφία είναι αυτό που καταγράφεται. Διατηρήστε τη συγκεκριμένη λεπτομέρεια, το πραγματικό στοιχείο, τον πραγματικό περιορισμό, αυτό που πήγε στραβά στην έκτη εβδομάδα. Η γενική επάρκεια είναι αυτό που βαθμολογείται ως μηχανικά παραγόμενο, και η ειδικότητα είναι ταυτόχρονα καλύτερη γραφή και ισχυρότερο σήμα.

Διατηρήστε επίσης το δικό σας ιδίωμα. Αν έχετε έναν τρόπο να διατυπώνετε τα πράγματα, αφήστε τον όπως είναι. Η παρόρμηση να λειάνετε ένα προσχέδιο μέχρι να ακούγεται όπως κάθε άλλη εργασία στον κλάδο είναι η παρόρμηση που μειώνει την perplexity σας.

Ένα πράγμα που πρέπει να αποφεύγετε, ορισμένα εργαλεία εισάγουν σκόπιμα γραμματικά λάθη για να αυξήσουν την perplexity. Αυτό λειτουργεί ως προς τη μετρική και είναι πολύ κακή ιδέα για οτιδήποτε βαθμολογείται ή αξιολογείται από ομοτίμους, αφού ανταλλάσσετε μια υποψία με μια βεβαιότητα. Ο στόχος είναι γραφή που διαβάζεται ως δική σας, όχι γραφή που έχει υποστεί σκόπιμη βλάβη. Αυτή είναι όλη η διαφορά ανάμεσα στο να ξαναγράφεις για έναν ανθρώπινο αναγνώστη και στο να αλλοιώνεις το κείμενο για να ξεγελάσεις έναν βαθμολογητή.

Αν θέλετε να δείτε αυτούς τους αριθμούς για το δικό σας προσχέδιο αντί να δεχθείτε ως δεδομένα τα λεγόμενα ενός μαύρου κουτιού, οι υποκείμενες μετρήσεις δεν είναι μυστικές. Τα δωρεάν εργαλεία ανάλυσης κειμένου θα σας δείξουν πού βρίσκεται η πρόζα σας, και μπορείτε να αποφασίσετε μόνοι σας αν τα επίπεδα, ομοιόμορφα τμήματα αποτελούν στυλιστικό πρόβλημα που αξίζει να διορθωθεί.