Ψευδώς θετικά αποτελέσματα ανιχνευτή AI: Γιατί η ανθρώπινη γραφή επισημαίνεται

Το 1982, το New England Journal of Medicine δημοσίευσε μια εργασία για τον κυτταρομεγαλοϊό σε ασθενείς με μεταμόσχευση μυελού των οστών. Πέρασε από ομότιμη αξιολόγηση και παρέμεινε στο αρχείο για τέσσερις δεκαετίες. Το 2023, ερευνητές την πέρασαν από έναν ανιχνευτή γραφής AI που είχε διαθέσει δημόσια το OpenAI, και το εργαλείο την αξιολόγησε ως 99.96 percent πιθανό να έχει παραχθεί από AI, τριάντα επτά χρόνια πριν υπάρξει το μοντέλο από το οποίο υποτίθεται ότι είχε γραφτεί. Αυτό είναι ένα ψευδώς θετικό αποτέλεσμα ανιχνευτή AI στην καθαρότερη μορφή του, ένα έγγραφο που επισημαίνεται ως γραμμένο από μηχανή ενώ δεν μπορεί με κανέναν τρόπο να είναι γραμμένο από μηχανή.

Αυτό το παράδειγμα είναι ακραίο μόνο ως προς τη χρονική του τοποθέτηση. Το υποκείμενο μοτίβο, δηλαδή ένας ανιχνευτής που διαβάζει τη φορμαλιστική, προβλέψιμη πρόζα ως μηχανοπαραγόμενη, ανεξάρτητα από το ποιος την έγραψε ή πότε, εμφανίζεται διαρκώς σε συνηθισμένες υποβολές, δοκίμια, συνοδευτικές επιστολές, εργαστηριακές αναφορές, προσωπικές δηλώσεις. Το παρόν κείμενο εξετάζει τι προκαλεί ένα ψευδώς θετικό αποτέλεσμα, ποια είδη γραφής εκτίθενται περισσότερο και γιατί μια μεμονωμένη επισημασμένη βαθμολογία δεν είναι το στοιχείο που φαίνεται να είναι.

Τι Είναι ένα Ψευδώς Θετικό Αποτέλεσμα Ανιχνευτή AI;

Το ψευδώς θετικό αποτέλεσμα ανιχνευτή AI είναι ένα κείμενο γραμμένο από άνθρωπο το οποίο ένα εργαλείο ανίχνευσης βαθμολογεί ως παραγόμενο από AI. Δεν μετριέται τίποτε σχετικά με τη διαδικασία, την εντιμότητα ή την ικανότητα του συγγραφέα. Το εργαλείο συγκρίνει το στατιστικό σχήμα της πρότασης, το πόσο προβλέψιμες είναι οι επιλογές λέξεων και η δομή, με το σχήμα που έμαθε να συσχετίζει με έξοδο μηχανής.

Οι προμηθευτές αναφέρουν ποσοστά ψευδώς θετικών αποτελεσμάτων ως ένα ενιαίο μικρό ποσοστό, συνήθως κάτω από ένα ή δύο percent. Αυτό το ποσοστό περιγράφει μια ελεγχόμενη δοκιμή σε ένα benchmark που κατασκεύασε ο προμηθευτής, όχι εγγύηση για οποιοδήποτε μεμονωμένο έγγραφο. Το ευρύτερο ερώτημα του αν οι ανιχνευτές AI είναι καθόλου ακριβείς έχει ήδη ελεγχθεί ανεξάρτητα, και τα αποτελέσματα καταλήγουν εντελώς αλλού, μερικές φορές πολύ υψηλότερα από οποιονδήποτε αριθμό προμηθευτή. Το παρόν κείμενο παραμένει στενότερο, ποια είδη γραφής αυξάνουν αυτόν τον κίνδυνο και τι μπορεί και τι δεν μπορεί να πει σε κανέναν μια επισημασμένη βαθμολογία.

Ποια Χαρακτηριστικά Γραφής Κάνουν το Ανθρώπινο Κείμενο να Φαίνεται Μηχανοπαραγόμενο

Τέσσερα είδη συνηθισμένης γραφής ενέχουν τον μεγαλύτερο κίνδυνο, και κανένα από αυτά δεν συνεπάγεται ότι ένα άτομο κάνει κάτι λανθασμένο. Τα σύντομα έγγραφα, η έντονα τυποποιημένη γραφή, το παρατιθέμενο ή βασισμένο σε πρότυπα υλικό, και η γραφή που έχει διορθωθεί σχολαστικά τείνουν όλα να βαθμολογούνται ως πιο προβλέψιμα από τον ελεύθερα συντεθειμένο πεζό λόγο, που είναι η μία ιδιότητα την οποία στην πραγματικότητα μετρά κάθε ανιχνευτής. Ένας free burstiness checker μετρά άμεσα την ίδια αυτή μεταβλητότητα, κάτι που αποτελεί ταχύτερο τρόπο για να διαπιστωθεί το μοτίβο από το να διαβαστεί μια περιγραφή του.

Ορισμένα είδη λόγου είναι τυποποιημένα εκ σχεδιασμού. Μια ενότητα μεθόδων, μια εργαστηριακή αναφορά, μια τυπική συνοδευτική επιστολή και μια βιβλιογραφική ανασκόπηση επιβραβεύουν όλα τη συμβατική διατύπωση αντί της ευρηματικής, επειδή η σύμβαση είναι αυτό που καθιστά το έγγραφο χρήσιμο για τον αναγνώστη του. Οι ερευνητές το δοκίμασαν αυτό άμεσα σε πραγματική γραφή, έτρεξαν 14,400 περιλήψεις περιοδικών που δημοσιεύθηκαν μεταξύ 1980 και 2023, χρόνια πριν υπάρξει οποιοδήποτε μεγάλο γλωσσικό μοντέλο, μέσω ενός ανιχνευτή διαθέσιμου στο κοινό. Έως και 8 percent επισημάνθηκαν ως παραγόμενες από AI, ανεξάρτητα από το έτος δημοσίευσης, και οι περιλήψεις του New England Journal of Medicine επισημάνθηκαν σε 10.24 percent, το υψηλότερο ποσοστό ψευδώς θετικών μεταξύ των πέντε περιοδικών που δοκιμάστηκαν.

Η δοκιμή δεν θα μπορούσε να ανιχνεύει τίποτα σχετικά με το ChatGPT, αφού το ChatGPT δεν υπήρχε για τα περισσότερα από τα χρόνια που δειγματοληπτήθηκαν. Ανίχνευε το είδος λόγου. Πιο τυπικά, όπως θα το διατύπωνε η στατιστική ανάλυση του 2026 για το πρόβλημα της ανίχνευσης, δεν υπάρχει τρόπος να κατασκευαστεί ένας ανιχνευτής που θα διακρίνει ανάμεσα σε μια πρόταση που είναι προβλέψιμη επειδή γράφτηκε από λογισμικό και σε μια πρόταση που είναι προβλέψιμη επειδή είναι το είδος του πράγματος που γράφετε στο συγκεκριμένο είδος λόγου. Από έξω φαίνονται ακριβώς το ίδιο.

Η βαριά επιμέλεια ωθεί προς παρόμοια κατεύθυνση. Ένα πρώτο προσχέδιο φέρει τις συγκεκριμένες ανωμαλίες του συγγραφέα, την ασυνήθιστη σειρά των λέξεων, την πρόταση που εκτείνεται υπερβολικά επειδή το ίδιο έκανε και η σκέψη. Μια διεξοδική διόρθωση, ιδίως όταν γίνεται με άλλο εργαλείο, τείνει να εξομαλύνει ακριβώς αυτές τις ανωμαλίες. Η μεγαλύτερη ανεξάρτητη σύγκριση εργαλείων ανίχνευσης μέχρι σήμερα εξέτασε 14 από αυτά και διαπίστωσε ότι η ακρίβεια μειώθηκε περαιτέρω, για κάθε εργαλείο, όταν το δείγμα κειμένου είχε παραφραστεί ή μεταφραστεί μηχανικά.

Γνωρίσμα γραφής	Γιατί μειώνει την φαινομενική απρόβλεπτη φύση ενός εγγράφου	Τι δείχνουν τα στοιχεία
Σύντομες υποβολές	Λιγότερο κείμενο αφήνει λιγότερο χώρο για τη φυσική ποικιλία που διακρίνει τον ανθρώπινο ρυθμό από τον μηχανικό ρυθμό	Οι βαθμολογίες σε σύντομα έγγραφα μεταβάλλονται περισσότερο με βάση τη δύναμη λίγων ασυνήθιστων προτάσεων
Τυποποιημένη ή ειδική για το πεδίο γραφή	Η συμβατική μορφή του είδους επιβραβεύει την αναμενόμενη φράση αντί της ευρηματικής	14,400 περιλήψεις περιοδικών πριν από το ChatGPT (1980 έως 2023) εξακολουθούσαν να ενεργοποιούν έως και 8% ψευδώς θετικά αποτελέσματα, οι περιλήψεις ενός περιοδικού έφτασαν το 10.24%
Πολύ επεξεργασμένα ή παραφρασμένα προσχέδια	Ένα πέρασμα λείανσης εξομαλύνει τις ατομικές ανωμαλίες που ένας ανιχνευτής διαβάζει ως ανθρώπινες	Μια ανεξάρτητη σύγκριση 14 εργαλείων διαπίστωσε ότι η ακρίβεια μειώθηκε περαιτέρω μετά την παραφράση ή τη μηχανική μετάφραση
Παρατιθέμενο ή προτυποποιημένο υλικό	Το παρατιθέμενο απόσπασμα φέρει τη στατιστική υπογραφή της πηγής του, όχι του συγγραφέα που το παραθέτει	Οι ανιχνευτές που δεν αποκλείουν τις παραθέσεις βαθμολογούν το γύρω έγγραφο με βάση δανεισμένο κείμενο

Γιατί τα δημοσιευμένα ποσοστά και τα ποσοστά στον πραγματικό κόσμο δεν συμπίπτουν

Κάθε σημαντικός ανιχνευτής δημοσιεύει ποσοστό ψευδώς θετικών κοντά στο ένα τοις εκατό ή χαμηλότερο. Ανεξάρτητες δοκιμές των ίδιων εργαλείων, που εκτελούνται σε διαφορετικά έγγραφα υπό διαφορετικές συνθήκες, αναφέρουν σταθερά κάτι πολύ υψηλότερο, μερικές φορές κατά παράγοντα δέκα ή και περισσότερο. Και τα δύο ποσοστά μπορεί να είναι ακριβή και παρ' όλα αυτά να περιγράφουν σχεδόν τίποτε κοινό, επειδή δεν μετρούν το ίδιο πράγμα.

Το Turnitin είναι ένα χρήσιμο παράδειγμα ακριβώς επειδή δημοσιεύει περισσότερες λεπτομέρειες από τους περισσότερους ανταγωνιστές: ποσοστό ψευδώς θετικών κάτω από 1 τοις εκατό σε επίπεδο εγγράφου, υπό την προϋπόθεση ότι περισσότερο από 20 τοις εκατό μιας υποβολής επισημαίνεται ως γραμμένη από AI, μαζί με δήλωση της εταιρείας ότι τα αποτελέσματα στον πραγματικό κόσμο διαφέρουν από τις δικές της εργαστηριακές δοκιμές. Η Washington Post πέρασε 16 πραγματικά έγγραφα από το ίδιο εργαλείο το 2023 και διαπίστωσε ότι περισσότερα από τα μισά επέστρεψαν ως τουλάχιστον εν μέρει λανθασμένα αναγνωρισμένα, συμπεριλαμβανομένου ενός δοκιμίου εξ ολοκλήρου γραμμένου από άνθρωπο που χαρακτηρίστηκε ως εν μέρει παραγόμενο από AI. Κανένας από τους δύο αριθμούς δεν είναι κατασκευασμένος. Προέρχονται από διαφορετικά δείγματα, διαφορετικά κατώφλια και διαφορετικούς ορισμούς για το τι μετρά ως επισήμανση.

Το ίδιο χάσμα εμφανίζεται σε ολόκληρο τον κλάδο, όχι μόνο σε μία εταιρεία. Αυτή η σύγκριση 14 εργαλείων έδειξε ότι καθένα από αυτά υπολειπόταν του 80 τοις εκατό ως προς τη συνολική ακρίβεια, και ότι έξι από τα δεκατέσσερα παρήγαγαν ψευδώς θετικό αποτέλεσμα σε αμετάβλητη ανθρώπινη γραφή πριν ακόμη τεθεί ζήτημα παράφρασης. Ένας δημοσιευμένος αριθμός περιγράφει ένα σημείο αναφοράς. Δεν περιγράφει το έγγραφο που βρίσκεται αυτή τη στιγμή μπροστά σε έναν καθηγητή.

Γιατί μια Βέβαιη Βαθμολογία Δεν Είναι Βέβαιη Κατηγορία

Το ποσοστό ψευδώς θετικών ακούγεται σαν να αναφέρεται στην πιθανότητα ένας φοιτητής που επισημαίνεται ως πρόβλημα να είναι αθώος. Αλλά όχι. Περιγράφει πώς λειτουργεί ένα τεστ για όλους όσοι το δίνουν. Και αυτά είναι διαφορετικά ερωτήματα με διαφορετικές απαντήσεις, όπως ακριβώς συμβαίνει με κάθε τεστ διαλογής στην ιατρική ή στην ασφάλεια.

Μια στατιστική ανάλυση του Μαρτίου 2026 από ερευνητή του Griffith University καθιστά τα υποκείμενα μαθηματικά σαφή. Αν αντιμετωπίσουμε την ανίχνευση AI ως τεστ που εφαρμόζεται σε έναν πληθυσμό φοιτητών συγγραφέων και όχι σε ένα απομονωμένο έγγραφο, προκύπτει ένας συμβιβασμός: κάθε φορά που κάποιο μέρος αυτού του πληθυσμού γράφει με τρόπο που φυσικά επικαλύπτεται με το τυπικό αποτέλεσμα της AI, κοντά στη συμβατική μορφή του είδους, κοντά στο εύρος ενός μαθητή δεύτερης γλώσσας, κάθε ανιχνευτής με πραγματική ικανότητα να εντοπίζει εργασία γραμμένη από AI πρέπει να σφάλλει σε κάποιο μέρος αυτής της επικαλυπτόμενης ομάδας. Αυτό δεν είναι ισχυρισμός ότι ένας συγκεκριμένος ανιχνευτής είναι κακοσχεδιασμένος. Είναι ιδιότητα της δοκιμής ενός ποικιλόμορφου πληθυσμού με ένα μόνο έγγραφο και χωρίς άλλα αποδεικτικά στοιχεία.

Το ίδιο το επεξηγηματικό παράδειγμα της μελέτης δείχνει το μέγεθος που εμπλέκεται. Ας υποθέσουμε ότι το 10 percent ενός πληθυσμού φοιτητών γράφει αρκετά κοντά στο τυπικό output του AI, και ότι ένας ανιχνευτής έχει ρυθμιστεί ώστε να εντοπίζει το 80 percent της πραγματικής εργασίας που έχει γραφτεί από AI. Τα μαθηματικά τότε απαιτούν έναν μέσο ρυθμό ψευδώς θετικών τουλάχιστον 7.5 percent σε ολόκληρο αυτόν τον πληθυσμό. Αυτό δεν είναι ελάττωμα στη μηχανική του ανιχνευτή, είναι άμεση συνέπεια του πόσο στατιστικά επικαλύπτεται η γραφή αυτής της ομάδας με το πράγμα που ανιχνεύεται.

Αν κλιμακωθεί σε ένα πανεπιστήμιο με 10,000 φοιτητές, αυτό το κατώτερο όριο από μόνο του συνεπάγεται περίπου 750 ψευδείς επισημάνσεις σε ολόκληρο τον πληθυσμό, μια μαθηματική συνέπεια της δοκιμής ενός ετερογενούς πληθυσμού απέναντι σε ένα μόνο έγγραφο χωρίς άλλα στοιχεία προς στάθμιση. Ο συγγραφέας της μελέτης είναι σαφής ότι αυτά τα συγκεκριμένα μεγέθη είναι ενδεικτικά και όχι μετρημένα σε πραγματικό ίδρυμα. Το παράδειγμα δείχνει τη μορφή του προβλήματος και όχι μια συγκεκριμένη πρόβλεψη για οποιαδήποτε μεμονωμένη πανεπιστημιούπολη.

Τίποτε από αυτά δεν σημαίνει ότι μια επισημασμένη βαθμολογία είναι χωρίς νόημα. Σημαίνει ότι η βαθμολογία είναι ένα ασθενές σήμα σε επίπεδο πληθυσμού, στο οποίο ζητείται να απαντήσει σε ένα ερώτημα για ένα μεμονωμένο άτομο, μια ασυμφωνία που καμία ποσότητα βελτίωσης από τον προμηθευτή δεν μπορεί από μόνη της να κλείσει πλήρως. Μια υπεύθυνη ανάγνωση αντιμετωπίζει τον αριθμό ως αφορμή για τη συλλογή καλύτερων στοιχείων, προσχεδίων, ιστορικού εκδόσεων, του συνηθισμένου ίχνους εγγράφων κάποιου που πράγματι γράφει κάτι. Τα δωρεάν εργαλεία του TextPulse επιτρέπουν σε έναν συγγραφέα να ελέγξει πού βρίσκεται ένα προσχέδιο αυτή τη στιγμή ως προς αυτές τις ίδιες μετρήσεις πριν το κάνει οποιοσδήποτε άλλος, κάτι που αποτελεί διαφορετική χρήση της τεχνολογίας από το να προσπαθεί κανείς να νικήσει έναν συγκεκριμένο ανιχνευτή.

Ποιοι Συγγραφείς Αντιμετωπίζουν τον Υψηλότερο Κίνδυνο

Η έρευνα δείχνει δύο ομάδες που ξεχωρίζουν περισσότερο από όλες τις άλλες, ανθρώπους που γράφουν σε δεύτερη γλώσσα και ανθρώπους που είναι εκ φύσεως πολύ δομημένοι ή επαναληπτικοί συγγραφείς για λόγους άσχετους με τον τρόπο που έγραψαν την εργασία τους. Και οι δύο αυτοί τύποι συγγραφέων εμφανίζονται στην ίδια στατιστική υπογραφή που ένας ανιχνευτής έχει κατασκευαστεί να εντοπίζει.

Οι ομιλητές της αγγλικής ως μη μητρικής γλώσσας φέρουν τον μεγαλύτερο τεκμηριωμένο κίνδυνο. Ανεξάρτητες δοκιμές έχουν επανειλημμένα διαπιστώσει ότι οι ανιχνευτές παρερμηνεύουν την ακαδημαϊκή γραφή σε άπταιστη δεύτερη γλώσσα ως παραγόμενη από μηχανή σε πολύ υψηλότερα ποσοστά από ό,τι τη γραφή φυσικών ομιλητών. Η σελίδα του TextPulse για ακαδημαϊκούς συγγραφείς ESL αναλύει λεπτομερέστερα τον μηχανισμό πίσω από αυτόν τον κίνδυνο, συμπεριλαμβανομένων των προτύπων διατύπωσης που τον προκαλούν.

Μια δεύτερη, λιγότερο συζητημένη ομάδα αντιμετωπίζει ένα συναφές πρόβλημα. Ερευνητές συνέκριναν περίπου 60,000 αναρτήσεις στο Reddit, χωρισμένες ανάμεσα σε ένα υποσύνολο που ταυτοποιήθηκε ως πιθανό να έχει γραφτεί από αυτιστικούς συγγραφείς και σε ένα γενικό δείγμα, και τις πέρασαν και τις δύο από έναν ανιχνευτή βασισμένο στο GPT-2. Και οι δύο ομάδες παρέμειναν συνολικά κάτω από 2 percent ως προς τις επισημάνσεις, αλλά το υποσύνολο που θεωρήθηκε πιθανό να είναι αυτιστικό επισημάνθηκε με σημαντικά υψηλότερο ρυθμό από το γενικό δείγμα. Η γραφή που κλίνει προς κυριολεκτική, επαναληπτική, αυστηρά δομημένη διατύπωση, ένα τεκμηριωμένο χαρακτηριστικό ορισμένων αυτιστικών μορφών επικοινωνίας, παράγει ακριβώς το κείμενο χαμηλής μεταβλητότητας που ένας ανιχνευτής έχει σχεδιαστεί να εντοπίζει.

Δύο προμηθευτές δημοσιεύουν αρκετά στοιχεία ώστε να ελεγχθεί ο ισχυρισμός. Το ίδιο το ποσοστό ψευδώς θετικών του Turnitin παρουσιάζεται ξεχωριστά, και η ακρίβεια του ZeroGPT εξετάζεται στη δική του σελίδα. Το σε ποιους πέφτουν πιο βαριά αυτά τα σφάλματα είναι ένα διαφορετικό ερώτημα, και το γιατί οι συγγραφείς αγγλικών ως μη μητρικής γλώσσας επισημαίνονται συχνότερα έχει τη δική του απάντηση.

Τίποτε από αυτά δεν είναι πιθανό να γίνει σύντομα απλούστερο. Οι ανιχνευτές θα συνεχίσουν να βελτιώνονται στον εντοπισμό κειμένου που έχει πράγματι γραφτεί από μηχανή, και η ποικιλία του πληθυσμού θα συνεχίσει να παράγει κάποιο ποσοστό ψευδούς κατηγορίας που η καλύτερη μηχανική από μόνη της δεν μπορεί να εξαλείψει πλήρως. Η πιο χρήσιμη μετατόπιση ήδη συμβαίνει σε ορισμένα ιδρύματα, η αντιμετώπιση μιας βαθμολογίας ως αφετηρίας μιας συζήτησης και όχι ως τέλους της, και η ερώτηση για ποιον πληθυσμό δοκιμάστηκε στην πραγματικότητα ένα δημοσιευμένο ποσοστό πριν θεωρηθεί ότι ισχύει για το έγγραφο που έχουν μπροστά τους.