Είναι ακριβείς οι ανιχνευτές AI; Ψευδώς θετικά και μεροληψία

Το Turnitin ισχυρίζεται ότι το ποσοστό ψευδώς θετικών αποτελεσμάτων του είναι μικρότερο από 1%. Μια ομάδα ανεξάρτητων ερευνητών δοκίμασε πολλαπλούς ανιχνευτές σε ένα ευρύτερο φάσμα δειγμάτων γραφής από ομιλητές αγγλικών ως μη μητρικής γλώσσας. Διαπίστωσαν ότι ο μέσος όρος του ποσοστού ψευδώς θετικών αποτελεσμάτων ήταν πάνω από 60% στο ίδιο είδος γραφής. Και οι δύο αριθμοί είναι πραγματικοί, και οι δύο δημοσιεύθηκαν, και και οι δύο αφορούν ανιχνευτές που πωλούνται στην ίδια αγορά. Είναι ακριβείς οι ανιχνευτές AI; Εξαρτάται από τον πληθυσμό που δοκιμάσατε, από τον ανιχνευτή που χρησιμοποιήσατε και από τον τρόπο με τον οποίο ο προμηθευτής σας όρισε εξαρχής την ακρίβεια.

Αυτή η ανάρτηση δεν θα επεξηγήσει εκ νέου πώς ένας ανιχνευτής υπολογίζει αυτή την τιμή. Ο μηχανισμός, η perplexity, η πιθανότητα των token, ο τρόπος με τον οποίο εκπαιδεύεται ο ταξινομητής, καλύπτονται λεπτομερώς αλλού, και αξίζει να το διαβάσετε πρώτα, αν δεν το έχετε ήδη κάνει. Αυτό που έχει σημασία εδώ είναι τι συμβαίνει αφού η τιμή υπάρχει, πόσο συχνά είναι λανθασμένη, για ποιανού τη γραφή είναι λανθασμένη πιο συχνά, και τι κοστίζει στην πράξη μια ψευδής κατηγορία σε κάποιον που δεν έκανε τίποτα λάθος.

Είναι ακριβείς οι ανιχνευτές AI;

Όχι με συνέπεια, και το χάσμα ανάμεσα στους ισχυρισμούς μάρκετινγκ και στις ανεξάρτητες δοκιμές είναι καλά τεκμηριωμένο. Μια ομάδα ερευνητών με επικεφαλής τη Debora Weber-Wulff δημοσίευσε τα ευρήματά της για 14 εργαλεία ανίχνευσης, μεταξύ των οποίων 12 δωρεάν και δύο εμπορικά, τα οποία δοκιμάστηκαν απέναντι σε ένα μείγμα ανθρώπινου κειμένου και κειμένου ChatGPT το 2023. Διαπίστωσαν ότι κανένα από αυτά τα εργαλεία δεν είναι ακριβές ή αξιόπιστο, με ενσωματωμένη προκατάληψη να χαρακτηρίζουν το κείμενο μηχανής ως ανθρώπινο και όχι το αντίστροφο. Δύο από τα εμπορικά εργαλεία που περιλήφθηκαν σε αυτή τη δοκιμή ήταν το Turnitin και το PlagiarismCheck. Όλα τα εργαλεία σε αυτή τη δοκιμή απέδωσαν χειρότερα όταν το κείμενο είχε παραφραστεί.

Αλλά δύο χρόνια μετά, τα πράγματα δεν είναι στάσιμα. Ένα working paper από το Booth School του University of Chicago, από τους Brian Jabarian και Alex Imas, έθεσε τρία νεοεισερχόμενα εργαλεία, τα Pangram, GPTZero και Originality.ai, καθώς και έναν ανταγωνιστή ανοικτού κώδικα, σε δοκιμασία με σχεδόν 2.000 κείμενα γραμμένα από ανθρώπους, από ιστολόγια, ειδήσεις, κριτικές και λογοτεχνία. Υπό ελεγχόμενες συνθήκες δοκιμής, το καλύτερο εργαλείο του συνόλου δεν έπεσε ποτέ κάτω από 99.8 percent ακρίβεια και διατήρησε το ποσοστό ψευδώς θετικών σε χαμηλό επίπεδο. Το μοντέλο ανοικτού κώδικα τα πήγε εξίσου καλά με έναν τυχαίο μαντευτή. Τα πράγματα έχουν πράγματι βελτιωθεί. Κατά κάποιον τρόπο. Λίγο.

Αλλά η παγίδα είναι η λέξη ελεγχόμενες. Τα αποσπάσματα αναφοράς είναι καθαρά, πλήρη και παραγόμενα υπό γνωστές συνθήκες. Ένα υποβαλλόμενο δοκίμιο δεν είναι τίποτε από αυτά με αξιοπιστία. Τα αποτελέσματα στον πραγματικό κόσμο μπορεί να μην είναι ταυτόσημα με τα αποτελέσματα του εργαστηρίου, όπως έχει δηλώσει δημόσια ο chief product officer της Turnitin, αν και αυτή είναι μια σπάνια και χρήσιμη παραδοχή από έναν προμηθευτή. Η επόμενη ενότητα τοποθετεί τα νούμερα του προμηθευτή δίπλα στα ανεξάρτητα, ώστε το χάσμα να είναι ορατό και όχι απλώς να διατυπώνεται.

Οι ισχυρισμοί του προμηθευτή έναντι των ανεξάρτητων δοκιμών

Ο παρακάτω πίνακας αντιπαραβάλλει όσα ισχυρίζονται οι τέσσερις ανιχνευτές για τον εαυτό τους με όσα μέτρησαν ανεξάρτητοι ερευνητές όταν δοκίμασαν τα εργαλεία απευθείας. Διαβάστε μαζί τις δύο μεσαίες στήλες, όχι μόνο τη στήλη του προμηθευτή.

Ανιχνευτής	Ακρίβεια που ισχυρίζεται ο προμηθευτής	Ανεξάρτητα παρατηρηθείσα	Τι λέει ο προμηθευτής για τα ψευδώς θετικά
Turnitin	Όριο εμπιστοσύνης 98% πριν από τη σήμανση, κάτω από 1% ψευδώς θετικά σε επίπεδο εγγράφου	Περίπου 80% ακρίβεια, η καλύτερη από 12 εργαλεία σε σύγκριση του 2023, σε παλαιότερη έκδοση του εργαλείου	Κάτω από 1% σε επίπεδο εγγράφου πάνω από όριο 20% γραμμένου από AI, περίπου 4% σε επίπεδο πρότασης
GPTZero	95.7% ανίχνευση κειμένου AI με ποσοστό ψευδώς θετικών 1% στο ανεξάρτητο benchmark RAID	96% ακρίβεια σε σύντομα αποσπάσματα, ποσοστό ψευδώς θετικών κάτω από 1% σε μελέτη του 2025 του University of Chicago Booth	Αναφέρει ποσοστό ψευδώς θετικών 1% στο benchmark RAID
Originality.ai	99% ακρίβεια, ποσοστό ψευδώς θετικών 0.5% (μοντέλο Lite), 1.5% (μοντέλο Turbo)	Ποσοστό ψευδώς θετικών κάτω από 1%, αλλά παρέλειψε 10% έως 40% κειμένου γραμμένου από AI στην ίδια μελέτη Booth	Δημοσιεύει ξεχωριστά στοιχεία ψευδώς θετικών ανά βαθμίδα μοντέλου
Pangram	Ποσοστά σφάλματος που, όπως λέει, είναι πάνω από 38 φορές χαμηλότερα από ανταγωνιστικά εργαλεία, δηλώνει ότι δεν υπάρχει μεροληψία εις βάρος συγγραφέων που δεν έχουν τα αγγλικά ως μητρική γλώσσα	Ακρίβεια ποτέ κάτω από 99.8%, ποσοστό ψευδώς θετικών κοντά στο μηδέν, στη μελέτη Booth	Δηλώνει ποσοστά ψευδώς θετικών κοντά στο μηδέν σε 10 τομείς κειμένου και 8 γλωσσικά μοντέλα

Δύο πράγματα ξεχωρίζουν. Πρώτον, όλα τα στοιχεία των προμηθευτών προέρχονται από ένα εργαστήριο που ελέγχεται από τον προμηθευτή και τα στοιχεία Booth προέρχονται από ερευνητές που δεν έχουν τίποτα να πουλήσουν. Δεύτερον, το Turnitin δεν εμφανίζεται καθόλου σε εκείνη τη μεσαία στήλη, καθώς η μελέτη του 2025 δεν το δοκίμασε. Στον πίνακα, το ανεξάρτητο στοιχείο του βασίζεται σε μια παλαιότερη σύγκριση του 2023, αλλά έγινε σε παλαιότερη έκδοση του εργαλείου, οπότε να το θυμάστε αυτό όταν εξετάζετε τον πίνακα ως σύγκριση όμοιου με όμοιο.

Πόσο ακριβής είναι η ανίχνευση AI του Turnitin;

Το Turnitin δεν δημοσιεύει έναν μόνο δείκτη ακρίβειας. Αντί γι’ αυτό, δημοσιεύει ένα κατώφλι και έναν συμβιβασμό. Η εταιρεία έχει δηλώσει ότι επισημαίνει ένα έγγραφο μόνο όταν είναι 98 percent βέβαιη ότι το επισημασμένο τμήμα είναι γραμμένο από AI, και ότι αυτό το κατώφλι είναι εκείνο που διατηρεί το ποσοστό ψευδώς θετικών σε επίπεδο εγγράφου κάτω από 1 percent. Το Turnitin έχει εκτιμήσει ότι εντοπίζει περίπου 85 percent της γραφής με βοήθεια AI, αφήνοντας σκόπιμα το υπόλοιπο να περάσει, αντί να διακινδυνεύσει μια λανθασμένη κατηγορία.

Το πραγματικό ποσοστό ψευδώς θετικών που επιστρέφει το Turnitin σε επίπεδο πρότασης, όπου ένα περιβάλλον διεπαφής επισημαίνει συγκεκριμένες γραμμές αντί για ολόκληρο έγγραφο, είναι στην πραγματικότητα πιο κοντά στο 4 percent. Αυτός είναι ο αριθμός που αξίζει να γνωρίζει κανείς αν ένας καθηγητής αποθηκεύσει ως στιγμιότυπο οθόνης μια μόνο επισημασμένη παράγραφο αντί για μια βαθμολογία ολόκληρου εγγράφου, επειδή μια επισημασμένη πρόταση συνεπάγεται ουσιαστικά μεγαλύτερη πιθανότητα να είναι λανθασμένη από ό,τι η βαθμολογία του εγγράφου δίπλα της.

Αξίζει επίσης να σημειωθεί ότι το Turnitin έχει αναγνωρίσει άμεσα αυτό το χάσμα. Διαπίστωσαν ότι τα πρώτα αποτελέσματά τους σε πραγματικές συνθήκες, ιδίως για συντομότερα έγγραφα, είχαν υψηλότερα ποσοστά ψευδώς θετικών από ό,τι αναμενόταν με βάση τις εργαστηριακές δοκιμές τους. Έτσι, προσαρμόσαν το ελάχιστο μήκος εγγράφου ώστε να βαθμολογείται από 150 to 300 words. Πρόκειται για έναν προμηθευτή που προσαρμόζει το ίδιο του το προϊόν επειδή ο δημοσιευμένος αριθμός δεν επιβεβαιώθηκε εκτός εργαστηρίου, κάτι που λέει τόσα όσα και κάθε ανεξάρτητη μελέτη.

Τι πραγματικά κοστίζει ένα ψευδώς θετικό σε έναν φοιτητή

Αυτό συνέβη σε έναν φοιτητή executive MBA στη School of Management του Yale. Στον φοιτητή απαγγέλθηκε κατηγορία για παράβαση, με την πιο κυριολεκτική έννοια που μπορεί να υπάρξει. Ο ανιχνευτής που χρησιμοποιήθηκε ήταν το GPTZero. Η τελική εξέταση του φοιτητή σε ένα μάθημα χρηματοοικονομικών είχε επισημανθεί από έναν βοηθό διδασκαλίας, ο οποίος θεώρησε ότι η γραφή ήταν εκτενής και περίτεχνη, με σχεδόν άψογη στίξη και γραμματική. Και ο συγκεκριμένος καθηγητής την πέρασε από το GPTZero, το οποίο βαθμολόγησε τις απαντήσεις ως πιθανώς παραγόμενες από AI.

Απέτυχε στο μάθημα και τέθηκε σε αναστολή για ένα έτος. Η αγωγή του, που κατατέθηκε σε ομοσπονδιακό δικαστήριο τον Φεβρουάριο του 2025, υποστηρίζει ότι η ίδια η πολιτική του Yale περιορίζει τη χρήση εργαλείων όπως το GPTZero ακριβώς για αυτόν τον λόγο, δηλαδή το τεκμηριωμένο ποσοστό ψευδώς θετικών αποτελεσμάτων του απέναντι σε μη φυσικούς ομιλητές της αγγλικής, και ότι το χρησιμοποίησε κατά παράβαση αυτής της πολιτικής. Η κατάθεσή του επικαλείται επίσης ότι το GPTZero έδωσε βαθμολογία 100 percent AI-generated σε ακαδημαϊκή γραφή του ίδιου του πρώην πρύτανη του πανεπιστημίου του Yale και του κοσμήτορα της σχολής διοίκησης επιχειρήσεων.

Ο δικαστής αρνήθηκε να εκδώσει πρόωρη ασφαλιστική διαταγή τον Μάιο του 2025. Η υπόθεση δεν έχει ακόμη επιλυθεί, καθώς γράφω αυτό το κείμενο. Ο ενάγων, Γάλλος υπήκοος, υποστηρίζει ότι η ίδια γνωστή μεροληψία εις βάρος των μη φυσικών ομιλητών της αγγλικής προκάλεσε στη γραφή του την απόδοση που είχε. Αυτό εξετάζουμε στην επόμενη ενότητα. Αυτό που δεν αμφισβητείται είναι το κόστος, ένα έτος χαμένο από πρόγραμμα σπουδών, ένας αποτυχημένος βαθμός, νομικά έξοδα και αρκετοί μήνες αντιπαράθεσης για μια βαθμολογία αντί για την απόκτηση πτυχίου. Ένα ποσοστό ψευδώς θετικών αποτελεσμάτων 1 percent ακούγεται μικρό, μέχρις ότου ένας μεγάλος πληθυσμός το μετατρέψει σε κάτι που αφορά ένα συγκεκριμένο άτομο.

Ποια χαρακτηριστικά γραφής κάνουν το ανθρώπινο κείμενο να μοιάζει μηχανικά παραγόμενο

Τέσσερα είδη συνηθισμένης γραφής ενέχουν τον μεγαλύτερο κίνδυνο, και κανένα από αυτά δεν συνεπάγεται ότι ένα άτομο κάνει κάτι λανθασμένο. Τα σύντομα έγγραφα, η έντονα τυποποιημένη γραφή, το παρατιθέμενο ή βασισμένο σε πρότυπο υλικό και η γραφή που έχει υποστεί εκτεταμένη επιμέλεια τείνουν όλα να βαθμολογούνται ως πιο προβλέψιμα από την ελεύθερα συντεθειμένη πρόζα, η οποία είναι η μία ιδιότητα που κάθε ανιχνευτής πραγματικά μετρά. Ένας free burstiness checker μετρά άμεσα την ίδια αυτή μεταβλητότητα, κάτι που αποτελεί ταχύτερο τρόπο για να δει κανείς το μοτίβο από το να διαβάσει μια περιγραφή του.

Ορισμένα είδη κειμένου είναι εκ φύσεως τυποποιημένα. Μια ενότητα μεθόδων, μια εργαστηριακή αναφορά, μια τυπική συνοδευτική επιστολή και μια βιβλιογραφική ανασκόπηση ανταμείβουν όλες τη συμβατική διατύπωση περισσότερο από την ευρηματική, επειδή η σύμβαση είναι αυτό που καθιστά το έγγραφο χρήσιμο για τον αναγνώστη του. Ερευνητές το δοκίμασαν αυτό άμεσα σε πραγματική γραφή, ανέλυσαν 14,400 περιλήψεις περιοδικών που δημοσιεύθηκαν μεταξύ 1980 και 2023, χρόνια πριν υπάρξει οποιοδήποτε μεγάλο γλωσσικό μοντέλο, μέσω ενός ανιχνευτή διαθέσιμου στο κοινό. Έως και 8 percent επισημάνθηκαν ως παραγόμενες από AI ανεξάρτητα από το έτος δημοσίευσης, και οι περιλήψεις του New England Journal of Medicine επισημάνθηκαν σε 10.24 percent, το υψηλότερο ποσοστό ψευδώς θετικών μεταξύ των πέντε περιοδικών που δοκιμάστηκαν.

Η δοκιμή δεν θα μπορούσε να ανιχνεύει τίποτα σχετικό με το ChatGPT, αφού το ChatGPT δεν υπήρχε για τα περισσότερα από τα χρόνια που εξέτασε. Ανίχνευε το είδος κειμένου. Πιο τυπικά, όπως θα το διατύπωνε η στατιστική ανάλυση του προβλήματος ανίχνευσης το 2026, δεν υπάρχει τρόπος να κατασκευαστεί ένας ανιχνευτής που θα διακρίνει ανάμεσα σε μια πρόταση που είναι προβλέψιμη επειδή γράφτηκε από λογισμικό και σε μια πρόταση που είναι προβλέψιμη επειδή είναι το είδος του πράγματος που γράφετε στο συγκεκριμένο είδος κειμένου. Από έξω φαίνονται απολύτως ίδια.

Η εκτεταμένη επιμέλεια ωθεί προς παρόμοια κατεύθυνση. Ένα πρώτο προσχέδιο φέρει τις συγκεκριμένες ανωμαλίες του συγγραφέα, την ασυνήθιστη σειρά των λέξεων, την πρόταση που εκτείνεται πολύ επειδή εκτεινόταν και η σκέψη. Μια διεξοδική φάση διόρθωσης, ιδίως όταν περνά και από άλλο εργαλείο, τείνει να εξομαλύνει ακριβώς αυτές τις ανωμαλίες. Η μεγαλύτερη ανεξάρτητη σύγκριση εργαλείων ανίχνευσης μέχρι σήμερα δοκίμασε 14 από αυτά και διαπίστωσε ότι η ακρίβεια μειώθηκε περαιτέρω, για κάθε εργαλείο, μόλις το δείγμα κειμένου είχε παραφραστεί ή μεταφραστεί μηχανικά.

Χαρακτηριστικό γραφής	Γιατί μειώνει την φαινομενική απρόβλεπτοτητα ενός εγγράφου	Τι δείχνουν τα στοιχεία
Σύντομες υποβολές	Λιγότερο κείμενο αφήνει λιγότερο χώρο για τη φυσική ποικιλία που διαχωρίζει τον ανθρώπινο ρυθμό από τον ρυθμό της μηχανής	Οι βαθμολογίες σε σύντομα έγγραφα μεταβάλλονται περισσότερο με βάση τη δύναμη λίγων ασυνήθιστων προτάσεων
Τυποποιημένη ή ειδική για το πεδίο γραφή	Η συμβατική μορφή του είδους ανταμείβει την αναμενόμενη φράση περισσότερο από την ευρηματική	14,400 περιλήψεις περιοδικών πριν από το ChatGPT (1980 έως 2023) εξακολουθούσαν να ενεργοποιούν έως και 8% ψευδώς θετικά αποτελέσματα, οι περιλήψεις ενός περιοδικού έφτασαν το 10.24%
Πολύ επεξεργασμένα ή παραφρασμένα προσχέδια	Ένα πέρασμα επιμέλειας εξομαλύνει τις ατομικές ανωμαλίες που ένας ανιχνευτής διαβάζει ως ανθρώπινες	Μια ανεξάρτητη σύγκριση 14 εργαλείων διαπίστωσε ότι η ακρίβεια μειώθηκε περαιτέρω μετά την παραφράση ή τη μηχανική μετάφραση
Παρατεθειμένο ή βασισμένο σε πρότυπο υλικό	Το παρατεθειμένο απόσπασμα φέρει τη στατιστική υπογραφή της πηγής του, όχι του συγγραφέα που το παραθέτει	Οι ανιχνευτές που δεν αποκλείουν τις παραθέσεις βαθμολογούν το γύρω έγγραφο με βάση δανεισμένο κείμενο

Γιατί οι ανιχνευτές AI ταξινομούν εσφαλμένα τους μη φυσικούς ομιλητές της αγγλικής;

Κακώς, και με μεγάλη διαφορά. Αυτό είναι το συμπέρασμα της μελέτης που πρώτα το ποσοτικοποίησε. Ερευνητές του Stanford έθεσαν επτά ευρέως χρησιμοποιούμενους ανιχνευτές GPT απέναντι σε 91 εκθέσεις TOEFL γραμμένες από μη φυσικούς ομιλητές της αγγλικής και σε 88 εκθέσεις από μαθητές της όγδοης τάξης στις ΗΠΑ. Οι ανιχνευτές διάβασαν τις εκθέσεις της όγδοης τάξης σωστά σχεδόν κάθε φορά. Όταν επρόκειτο για τις εκθέσεις TOEFL, οι οποίες είχαν γραφτεί από ενήλικες αρκετά άπταιστους ώστε να δώσουν εξέταση αγγλικών επιπέδου μεταπτυχιακών σπουδών, οι ανιχνευτές εμφάνισαν κατά μέσο όρο ποσοστό ψευδώς θετικών αποτελεσμάτων 61.3 percent. Ογδόντα εννέα από τις 91 εκθέσεις επισημάνθηκαν ως παραγόμενες από GPT από τουλάχιστον έναν από τους επτά ανιχνευτές, 18 από αυτές τις εκθέσεις επισημάνθηκαν από και τους επτά ανιχνευτές.

Ο μηχανισμός είναι ο ίδιος που διέπει και τα υπόλοιπα της ανίχνευσης, το προβλέψιμο λεξιλόγιο και η απλούστερη δομή των προτάσεων διαβάζονται ως χαμηλή perplexity, και η χαμηλή perplexity διαβάζεται ως κατασκευασμένη από μηχανή, ανεξάρτητα από το ποιος κρατά το στυλό. Οι συγγραφείς που εργάζονται σε δεύτερη γλώσσα στηρίζονται σε καθιερωμένες διατυπώσεις, επειδή αυτό ακριβώς μοιάζει με τη γλωσσική επάρκεια σε μια πρόσθετη γλώσσα, και αυτό είναι ακριβώς το προφίλ που ένας ανιχνευτής κατασκευάστηκε για να επισημαίνει.

Οι συγγραφείς σε αυτή τη θέση δεν εξυπηρετούνται καλά από τη συμβουλή να γράφουν απλώς πιο φυσικά, αφού το φυσικό είναι ακριβώς αυτό που επισημάνθηκε. Η σελίδα του TextPulse για ακαδημαϊκούς συγγραφείς ESL καλύπτει με μεγαλύτερη λεπτομέρεια τα μοτίβα διατύπωσης πίσω από αυτόν τον κίνδυνο, συμπεριλαμβανομένου του τι τα αλλάζει χωρίς να αλλάζει το νόημα της πρότασης.

Αυτό δεν ήταν μεμονωμένη περίπτωση. Τον Δεκέμβριο του 2025, δημοσιεύτηκε ένα νέο benchmark, σχεδιασμένο ρητά για να αξιολογήσει την προκατάληψη σε αυτούς τους ανιχνευτές. Περιλάμβανε πάνω από 200,000 δείγματα από πολλαπλά δημογραφικά και γλώσσες. Παρά το γεγονός ότι είχαν περάσει δύο χρόνια από την πρώτη μελέτη του Stanford και ότι περιλάμβανε πολλές διαφορετικές εκδόσεις μοντέλων των ίδιων ανιχνευτών, αυτό το benchmark αποκάλυψε ότι η προκατάληψη απέναντι σε English language learners εξακολουθεί να υπάρχει.

Αυτό δεν ισχύει για όλους τους προμηθευτές. Η δική του τεχνική τεκμηρίωση του Pangram αναφέρει ότι ο ταξινομητής του δεν είναι προκατειλημμένος απέναντι σε ομιλητές της αγγλικής που δεν είναι φυσικοί ομιλητές. Οι ερευνητές του Chicago Booth δεν δοκίμασαν ανεξάρτητα αυτόν τον ισχυρισμό, αλλά δείχνει ότι η νεότερη γενιά ανιχνευτών κατασκευάζεται έχοντας υπόψη το πρόβλημα, αντί να το αγνοεί.

Αν θέλετε να δείτε πού βρίσκεται η δική σας γραφή πριν τη βαθμολογήσει κάποιος άλλος, ένας δωρεάν έλεγχος perplexity σας δίνει τον ίδιο υποκείμενο αριθμό που θα υπολόγιζε ένας ανιχνευτής, χωρίς να υποβάλλετε πρώτα τίποτα σε κάποιο ίδρυμα.

Ποιοι άλλοι επισημαίνονται, και γιατί

Οι ομιλητές της αγγλικής ως μη μητρικής γλώσσας φέρουν τον μεγαλύτερο τεκμηριωμένο κίνδυνο, αλλά η ίδια στατιστική λογική εντοπίζει και άλλα κείμενα. Η ομάδα του Weber-Wulff διαπίστωσε ότι και τα 14 εργαλεία που δοκίμασαν ήταν λιγότερο ακριβή όταν τα εφάρμοζαν σε παραφρασμένα κείμενα, αυτό περιγράφει ένα ουσιαστικό μέρος της ακαδημαϊκής γραφής που έχει περάσει από διορθωτή, επιμελητή ή το κόκκινο στυλό ενός επιβλέποντα πριν κάποιος εφαρμόσει πάνω του έναν ανιχνευτή.

Τίποτε από αυτά δεν σημαίνει ότι ο αριθμός είναι χωρίς νόημα, μόνο ότι χρειάζεται επιβεβαίωση πριν σημαίνει οτιδήποτε για ένα συγκεκριμένο άτομο. Αν έχετε ένα κείμενο που διαβάζεται ως ομοιόμορφο, με παρόμοια μήκη προτάσεων και παρόμοιο ρυθμό σε όλη την έκταση, θα βαθμολογηθεί ως πιο μηχανικό, ανεξάρτητα από το ποιος το έγραψε ή γιατί. Αυτό μπορεί να ελεγχθεί άμεσα με ένα free burstiness checker αντί να γίνεται εικασία.

Μια δεύτερη, λιγότερο συζητημένη ομάδα αντιμετωπίζει ένα συναφές πρόβλημα. Ερευνητές συνέκριναν περίπου 60,000 αναρτήσεις στο Reddit, χωρισμένες ανάμεσα σε ένα υποσύνολο που προσδιορίστηκε ως πιθανό να έχει γραφτεί από αυτιστικούς συγγραφείς και σε ένα γενικό δείγμα, και τις πέρασαν και τις δύο από έναν ανιχνευτή βασισμένο στο GPT-2. Και οι δύο ομάδες παρέμειναν κάτω από 2 percent συνολικά ως προς τις επισημάνσεις, αλλά το υποσύνολο που θεωρήθηκε πιθανό να προέρχεται από αυτιστικούς συγγραφείς επισημάνθηκε με σημαντικά υψηλότερο ρυθμό από το γενικό δείγμα. Η γραφή που κλίνει προς κυριολεκτική, επαναληπτική, αυστηρά δομημένη διατύπωση, ένα τεκμηριωμένο χαρακτηριστικό ορισμένων αυτιστικών μορφών επικοινωνίας, παράγει ακριβώς το κείμενο χαμηλής μεταβλητότητας που ένας ανιχνευτής έχει σχεδιαστεί να εντοπίζει.

Γιατί μια Σίγουρη Βαθμολογία Δεν Είναι μια Σίγουρη Κατηγορία

Ο ρυθμός ψευδώς θετικών φαίνεται να αναφέρεται στην πιθανότητα ένας φοιτητής που επισημαίνεται ως πρόβλημα να είναι αθώος. Αλλά όχι. Περιγράφει πώς λειτουργεί ένα τεστ για όλους όσοι το δίνουν. Και αυτά είναι διαφορετικά ερωτήματα με διαφορετικές απαντήσεις, όπως ακριβώς συμβαίνει με κάθε τεστ διαλογής στην ιατρική ή στην ασφάλεια.

Μια στατιστική ανάλυση του Μαρτίου 2026 από ερευνητή του Griffith University καθιστά ρητά τα υποκείμενα μαθηματικά. Αν αντιμετωπίσει κανείς την ανίχνευση AI ως ένα τεστ που εφαρμόζεται σε έναν πληθυσμό φοιτητών συγγραφέων, και όχι σε ένα απομονωμένο έγγραφο, τότε αναδύεται ένας συμβιβασμός, κάθε φορά που κάποιο ποσοστό αυτού του πληθυσμού γράφει με τρόπο που επικαλύπτεται φυσικά με το τυπικό αποτέλεσμα της AI, κοντά στη συμβατική μορφή του είδους, κοντά στο εύρος ενός μαθητή δεύτερης γλώσσας, κάθε ανιχνευτής με πραγματική ικανότητα να εντοπίζει έργο γραμμένο από AI πρέπει να αποτυγχάνει σε ορισμένο μέρος αυτού του επικαλυπτόμενου ποσοστού. Αυτό δεν είναι ισχυρισμός ότι ένας συγκεκριμένος ανιχνευτής είναι κακοσχεδιασμένος. Είναι ιδιότητα της δοκιμής ενός ποικιλόμορφου πληθυσμού με ένα μόνο έγγραφο και χωρίς άλλα αποδεικτικά στοιχεία.

Το ίδιο το επεξηγηματικό παράδειγμα της εργασίας δείχνει το μέγεθος του ζητήματος. Ας υποθέσουμε ότι το 10 percent ενός φοιτητικού πληθυσμού γράφει αρκετά κοντά στο τυπικό αποτέλεσμα της AI, και ότι ένας ανιχνευτής ρυθμίζεται ώστε να εντοπίζει το 80 percent του πραγματικού έργου γραμμένου από AI. Τότε τα μαθηματικά απαιτούν έναν μέσο ρυθμό ψευδώς θετικών τουλάχιστον 7.5 percent σε ολόκληρο αυτόν τον πληθυσμό. Αυτό δεν είναι ελάττωμα στη μηχανική του ανιχνευτή, είναι άμεση συνέπεια του πόσο στατιστικά επικαλύπτεται η γραφή αυτής της ομάδας με το αντικείμενο που ανιχνεύεται.

Αν αυτό κλιμακωθεί σε ένα πανεπιστήμιο με 10,000 φοιτητές, μόνο αυτό το κατώτατο όριο συνεπάγεται περίπου 750 ψευδείς επισημάνσεις σε ολόκληρο τον πληθυσμό, ένα μαθηματικό αποτέλεσμα της δοκιμής ενός ποικιλόμορφου πληθυσμού απέναντι σε ένα μόνο έγγραφο, χωρίς άλλα αποδεικτικά στοιχεία που να σταθμιστούν. Ο συγγραφέας της εργασίας είναι σαφής ότι αυτά τα συγκεκριμένα μεγέθη είναι ενδεικτικά και όχι μετρημένα σε πραγματικό ίδρυμα. Το παράδειγμα δείχνει τη μορφή του προβλήματος και όχι μια συγκεκριμένη πρόβλεψη για οποιαδήποτε μεμονωμένη πανεπιστημιούπολη.

Πώς μοιάζει μια τεκμηριώσιμη πολιτική ανίχνευσης AI

Το Yale είχε ήδη μια πολιτική που, σύμφωνα με αναφορές, περιορίζει εργαλεία όπως το GPTZero, για σχεδόν τους λόγους που έχει εκθέσει αυτό το άρθρο, έναν τεκμηριωμένο ρυθμό ψευδώς θετικών και μια τεκμηριωμένη μεροληψία εις βάρος συγγραφέων που δεν έχουν τα αγγλικά ως μητρική γλώσσα. Άρα, αυτό δεν είναι τόσο η ιστορία ενός άτυχου φοιτητή όσο η ιστορία ενός υπάρχοντος κανόνα που δεν τηρήθηκε. Όταν μια πολιτική επιβάλλει πράγματι τη διαφορά ανάμεσα σε μια βαθμολογία και σε μια απόφαση, τότε η βαθμολογία γίνεται μία είσοδος και όχι απόφαση.

• Να αντιμετωπίζετε τη βαθμολογία ως μία είσοδο, ποτέ ως τη μοναδική βάση για διαπίστωση παραπτώματος
• Να γνωστοποιείτε στους φοιτητές τον δημοσιευμένο δείκτη ψευδώς θετικών αποτελεσμάτων του εργαλείου πριν το χρησιμοποιήσετε εναντίον τους
• Να εφαρμόζετε πρόσθετη προσοχή σε σύντομες υποβολές και σε γραφή στα αγγλικά από μη φυσικούς ομιλητές, και τα δύο τεκμηριωμένα αδύνατα σημεία
• Να εγγυάστε μια οδό προσφυγής που δεν απαιτεί την απόδειξη ότι ένα στατιστικό στοιχείο είναι λανθασμένο

Τίποτε από αυτά δεν είναι εξωτικό. Είναι πιο κοντά στον τρόπο με τον οποίο θα έπρεπε να αντιμετωπίζεται οτιδήποτε μεμονωμένο αποδεικτικό στοιχείο εγκληματολογίας οπουδήποτε αλλού, χρήσιμο, ελέγξιμο και ποτέ επαρκές από μόνο του.

Για έναν μεμονωμένο συγγραφέα, η ίδια αρχή ισχύει πριν υπάρξει μια βαθμολογία και όχι μετά. Ένας μόνο αριθμός, από οποιοδήποτε εργαλείο, είναι εκτίμηση και όχι ετυμηγορία, και η αντιμετώπισή του ως βεβαιότητας προς οποιαδήποτε κατεύθυνση, ασφαλής ή εντοπισμένος, απαιτεί από τον αριθμό περισσότερα από όσα μπορεί να στηρίξει.

Το ίδιο το εργαλείο AI humanizer tool του TextPulse αναφέρει Human Score με την ίδια λογική, μια εκτίμηση υπολογισμένη από το δικό σας κείμενο, όχι ετυμηγορία ανιχνευτή γι' αυτό, χρήσιμη ως ένδειξη του πώς διαβάζεται επί του παρόντος ένα προσχέδιο και όχι ως υπόσχεση για το τι θα πει οποιοσδήποτε συγκεκριμένος ανιχνευτής.

Το ζήτημα της ακρίβειας διασπάται σε στενότερα ζητήματα, καθένα με δική του σελίδα. Τα συγκεκριμένα στοιχεία για το Turnitin's false positive rate και για την ZeroGPT's accuracy καλύπτονται ξεχωριστά. Αν μια βαθμολογία έχει ήδη χρησιμοποιηθεί εναντίον σας, υπάρχουν πρακτικά κείμενα για το τι να κάνετε όταν κατηγορείστε ότι χρησιμοποιήσατε AI, για τα στοιχεία που μπορείτε να συγκεντρώσετε ώστε να αποδείξετε ότι δεν χρησιμοποιήσατε AI, και για τη σύνταξη επιστολής προσφυγής που απαντά στη βαθμολογία με τους δικούς της όρους.

Ο αριθμός σε οποιαδήποτε αναφορά θα συνεχίσει να μεταβάλλεται καθώς οι προμηθευτές επανεκπαιδεύουν τα μοντέλα τους και οι ερευνητές συνεχίζουν να τα δοκιμάζουν απέναντι σε δυσκολότερες περιπτώσεις. Αλλά αυτό που δεν θα πρέπει να μεταβάλλεται είναι η συνήθεια που βρίσκεται από κάτω του, να διαβάζετε μια βαθμολογία ως μία μέτρηση ανάμεσα σε πολλές, να ρωτάτε σε ποιον πληθυσμό επικυρώθηκε και να ρωτάτε τι δεν λέει ο προμηθευτής για τις περιπτώσεις στις οποίες εξακολουθεί να κάνει λάθος.