Παραπλανητικές παραπομπές: Ελέγξτε την εργασία σας πριν την υποβολή

Τον Ιούνιο του 2023, ένας ομοσπονδιακός δικαστής στη Νέα Υόρκη επέβαλε κυρώσεις σε δύο δικηγόρους επειδή κατέθεσαν υπόμνημα βασισμένο σε τουλάχιστον έξι δικαστικές υποθέσεις που δεν υπήρχαν. Ο Steven Schwartz είχε ζητήσει από το ChatGPT υποστηρικτικό προηγούμενο, είχε λάβει ονόματα υποθέσεων και παρατιθέμενη αιτιολογία που όλα έμοιαζαν εύλογα, και κατέθεσε το υπόμνημα χωρίς να ανοίξει ούτε μία υπόθεση ο ίδιος. Ο δικαστής P. Kevin Castel του επέβαλε πρόστιμο πέντε χιλιάδων δολαρίων και διέταξε να σταλεί επιστολή σε κάθε πραγματικό δικαστή του οποίου το όνομα είχε αποδοθεί σε μια κατασκευασμένη γνώμη.

Μια λίστα αναφορών μπορεί να καταλήξει στο ίδιο σημείο. Η διόρθωση είναι ένας έλεγχος παραληρηματικής παραπομπής που εκτελείται στη δική σας λίστα αναφορών πριν το κάνει για εσάς ένας επιμελητής, ένας επόπτης ή ένας αξιολογητής. Αυτό δεν είναι απλώς ένα πρόβλημα που προκαλείται από τη σύνταξη με ένα chatbot. Μια παραπομπή που ανακαλείται από τη μνήμη και δεν υπήρξε ποτέ ακριβώς, ένας τίτλος συνσυγγραφέα που αντιγράφηκε ελαφρώς λανθασμένα, ή ένα preprint του οποίου η τελική παραπομπή άλλαξε μετά την αποδοχή, μπορούν όλα να αφήσουν στο ίδιο είδος κενό σε μια λίστα αναφορών που αφήνει και μια κατασκευασμένη παραπομπή. Ο παρακάτω έλεγχος εντοπίζει όλα αυτά, ανεξάρτητα από το πώς βρέθηκε εκεί κάθε μεμονωμένη καταχώριση.

Πόσο συχνή είναι, στην πραγματικότητα, μια παραληρηματική παραπομπή;

Το εύρος εξαρτάται σε μεγάλο βαθμό από το ποιο μοντέλο παρήγαγε το προσχέδιο. Οι Walters και Wilder, δημοσιεύοντας στο Scientific Reports το 2023, δοκίμασαν λίστες αναφορών που παρήχθησαν από τα GPT-3.5 και GPT-4 σε σχέση με πραγματικά ακαδημαϊκά προτρεπτικά κείμενα γραφής, 636 παραπομπές αντλημένες από 84 λίστες αναφορών που παρήγαγε η AI, 42 για κάθε μοντέλο. Το πενήντα πέντε τοις εκατό των παραπομπών του GPT-3.5 ήταν εξ ολοκλήρου κατασκευασμένες, έναντι 18 τοις εκατό για το GPT-4. Ακόμη και οι πραγματικές δεν ήταν κατ' ανάγκην καθαρές, 43 τοις εκατό των γνήσιων παραπομπών του GPT-3.5 και 24 τοις εκατό του GPT-4 εξακολουθούσαν να φέρουν ουσιώδες σφάλμα κάπου στον συγγραφέα, τον τίτλο, το έτος ή το περιοδικό.

Η νομική έρευνα για παραπομπές που παράγονται από AI δείχνει ακόμη υψηλότερο ποσοστό αποτυχίας, αλλά εκείνη η εργασία μετρά μια διαφορετική αποτυχία, επινοημένες δικαστικές αποφάσεις και όχι κατασκευασμένες βιβλιογραφικές αναφορές, επομένως το ποσοστό δεν είναι κατάλληλο να μεταφερθεί σε ακαδημαϊκό πλαίσιο. Αυτό που έχουν κοινό και τα δύο πεδία είναι η υποκείμενη αιτία, ένα μοντέλο που παράγει μια παραπομπή που ακούγεται εύλογη βελτιστοποιεί αυτό που συνήθως μοιάζει με παραπομπή, όχι το αν υπάρχει πράγματι. Το δικό του κείμενο του TextPulse σχετικά με το αν το ChatGPT επινοεί αναφορές εξετάζει ειδικά αυτό το chatbot, ενώ ο παρών έλεγχος ισχύει ανεξάρτητα από το ποιο εργαλείο, ή η μνήμη ποιας συν-συγγραφέως, παρήγαγε την καταχώριση που έχετε μπροστά σας.

Τι βρήκαν οι έλεγχοι κλίμακας βιβλιογραφίας του 2026

Αυτά τα ποσοστά σε επίπεδο μοντέλου περιγράφουν τι εξέρχεται από ένα chatbot. Ένα ξεχωριστό ερώτημα, και εκείνο που έχει σημασία για όποιον υποβάλλει σε περιοδικό, είναι πόσο συχνά μια κατασκευασμένη αναφορά επιβιώνει από κάθε έλεγχο ανάμεσα σε ένα προσχέδιο και ένα δημοσιευμένο άρθρο. Δύο έλεγχοι που δημοσιεύθηκαν με διαφορά μίας ημέρας τον Μάιο του 2026 απάντησαν σε αυτό σε κλίμακα της βιβλιογραφίας, και η απάντηση είναι ότι η αποτυχία δεν είναι πλέον σπάνια.

Ένας έλεγχος που δημοσιεύθηκε στο The Lancet εξέτασε παραπομπές σε περίπου 2.5 εκατομμύρια βιοϊατρικά άρθρα στο PubMed Central Open Access, καλύπτοντας την περίοδο από τον Ιανουάριο του 2023 έως τον Φεβρουάριο του 2026. Αρκετές χιλιάδες παραπομπές οδηγούσαν σε έργο που δεν υπάρχει, κατανεμημένες σε περισσότερα από 2,800 δημοσιευμένα άρθρα. Η τάση έχει μεγαλύτερη σημασία από το συνολικό πλήθος.

Περίοδος	Άρθρα με τουλάχιστον μία κατασκευασμένη αναφορά	Ανά 10,000 άρθρα
2023	1 στα 2,828	3.5
2025	1 στα 458	21.8
2026, πρώτες επτά εβδομάδες	1 στα 277	36.1

Αυτό αντιστοιχεί περίπου σε δεκαπλάσια αύξηση μέσα σε τρία χρόνια, και το στοιχείο του 2026 προέρχεται από επτά εβδομάδες και όχι από ολόκληρο έτος, άρα πρόκειται για πρώιμη ένδειξη και όχι για παγιωμένο ετήσιο ρυθμό. Αυτό που αποδεικνύει είναι ότι οι κατασκευασμένες αναφορές φτάνουν στη δημοσίευση σε περιοδικά με κριτές, αφού έχουν περάσει από συγγραφείς, συνσυγγραφείς, επιμελητές και αξιολογητές καθ' οδόν.

Η συνοδευτική μελέτη, Zhao and colleagues on non-existent citations, διεύρυνε το πεδίο σε 111 εκατομμύρια αναφορές από τα arXiv, bioRxiv, SSRN και PubMed Central και έθεσε ένα συντηρητικό κατώτατο όριο 146,932 παραισθησιακών παραπομπών μόνο για το 2025. Το πιο χρήσιμο εύρημά της αφορά την κατανομή και όχι τον όγκο, οι κατασκευασμένες αναφορές συγκεντρώνονται σε πεδία με ταχεία υιοθέτηση της AI, και μεταξύ μικρών ομάδων συγγραφέων και ομάδων πρώιμης σταδιοδρομίας. Αν είστε μόνος συγγραφέας ή μικρή ομάδα χωρίς ερευνητικό γραφείο που να ελέγχει τη βιβλιογραφία σας, ανήκετε στην ομάδα όπου αυτό αποτυγχάνει συχνότερα, κάτι που αποτελεί επιχείρημα υπέρ του να κάνετε εσείς τον έλεγχο αντί να υποθέτετε ότι θα το κάνει κάποιος σε μεταγενέστερο στάδιο.

Ποια Models Κατασκευάζουν τα Περισσότερα, και Τι Μειώνει Πράγματι το Πρόβλημα

Η ειλικρινής απάντηση είναι ότι δεν υπάρχει αυστηρό δημόσιο benchmark που να κατατάσσει τα σημερινά κύρια models μεταξύ τους ειδικά ως προς την κατασκευή παραπομπών. Κυκλοφορούν μικρές ανεπίσημες συγκρίσεις, συνήθως με μερικές δεκάδες αναφορές που περνούν χειροκίνητα από δύο ή τρία chatbots, και τα δείγματα είναι υπερβολικά μικρά για να στηρίξουν κατάταξη μεταξύ τους. Το να αντιμετωπίζει κανείς μία από αυτές ως πίνακα κατάταξης είναι ο τρόπος με τον οποίο μια βέβαιη και λανθασμένη δήλωση καταλήγει σε ένα άρθρο.

Αυτό που πράγματι επιβεβαιώνεται είναι η γενεακή σύγκριση στα δεδομένα των Walters and Wilder παραπάνω, όπου το νεότερο model κατασκεύαζε περίπου στο ένα τρίτο της συχνότητας του παλαιότερου.

Model tested	Citations entirely fabricated	Genuine citations still carrying a substantive error
GPT-3.5	55%	43%
GPT-4	18%	24%

Τρία μοτίβα επαναλαμβάνονται στη βιβλιογραφία και αξίζουν περισσότερο από οποιαδήποτε μεμονωμένη κατάταξη. Τα μεγαλύτερα μοντέλα κατασκευάζουν λιγότερες αναφορές από τα μικρότερα. Τα μοντέλα που μπορούν πράγματι να αναζητούν και να ανακτούν πηγές κατασκευάζουν σημαντικά λιγότερες αναφορές από τα μοντέλα που απαντούν μόνο από τις παραμέτρους τους, και αυτό είναι το μεγαλύτερο αποτέλεσμα που έχει μετρήσει κανείς. Και οι ασαφείς πηγές είναι πολύ πιο επικίνδυνες από τις γνωστές, επειδή μια εργασία με πολλές παραπομπές εμφανίζεται στα δεδομένα εκπαίδευσης αρκετά συχνά ώστε να αναπαραχθεί σωστά, ενώ μια εξειδικευμένη είναι πιο πιθανό να ανασυντεθεί από αποσπάσματα.

Η πρακτική ανάγνωση είναι ότι κανένα μοντέλο δεν είναι αρκετά ασφαλές ώστε να παραλείψει τον έλεγχο, και οι εγγραφές που είναι πιο πιθανό να είναι λανθασμένες είναι ακριβώς εκείνες που μπορείτε λιγότερο να επαληθεύσετε από μνήμης, η εξειδικευμένη παραπομπή, η ασαφής εργασία συνεδρίου, η πηγή που προσθέσατε τελευταία.

Τι Εντοπίζει ένας Αυτοματοποιημένος Έλεγχος, και Πού Σταματά

Η εκτέλεση της λίστας μέσω ενός ελεγκτή πρώτα είναι ταχύτερη από το να επιλύσετε σαράντα DOI με το χέρι, και το δωρεάν εργαλείο ελέγχου παραπομπών AI αυτού του ιστότοπου κάνει ακριβώς αυτό έναντι των Crossref, OpenAlex και Semantic Scholar. Αξίζει να γνωρίζετε τι κάνει άσχημα αυτή η κατηγορία εργαλείου πριν βασιστείτε σε ένα.

Μια αξιολόγηση του 2026 πέντε ανιχνευτών παραποιημένων παραπομπών, Badalova and Mayr, διαπίστωσε ότι παρέχουν χρήσιμες πρώιμες προειδοποιήσεις, αλλά παραμένουν περιορισμένοι από τέσσερα πράγματα, την καθαρή εξαγωγή των παραπομπών από ένα έγγραφο, τα ελλιπή μεταδεδομένα στην ίδια την εγγραφή, την αποσπασματική κάλυψη των βάσεων δεδομένων και τα μητρώα που διαφωνούν μεταξύ τους. Μόνο το πρώτο από αυτά εξαφανίζεται όταν επικολλάτε μια λίστα αντί να ανεβάσετε ένα PDF.

Η συνέπεια για τον δικό σας έλεγχο είναι ένας κανόνας ερμηνείας. Ένας ελεγκτής είναι ισχυρότερος στο εύρημα που έχει τη μεγαλύτερη σημασία, ένα DOI που επιλύεται σε διαφορετικό άρθρο από αυτό που ισχυρίζεται η καταχώριση, κάτι που είναι σχεδόν αποδεικτικό. Είναι πιο αδύναμος στα βιβλία, στα κεφάλαια, στις διατριβές, στα πρακτικά συνεδρίων, σε πολύ πρόσφατο έργο και σε μη αγγλόφωνους εκδοτικούς χώρους, όλα από τα οποία ευρετηριάζονται αραιά παντού και συχνά επιστρέφουν ως μη ευρεθέντα ενώ είναι απολύτως γνήσια. Το μη ευρεθέν είναι μια προτροπή για χειροκίνητο έλεγχο, ποτέ μια κρίση. Τα παρακάτω χειροκίνητα βήματα είναι όσα εφαρμόζετε σε οτιδήποτε δεν μπόρεσε να κρίνει η αυτοματοποιημένη διέλευση.

Επιλύστε Κάθε DOI Πριν Υποβάλετε

Ένα DOI, ένα Digital Object Identifier, υποτίθεται ότι επιλύεται σε ακριβώς μία εγγραφή μέσω του επιλυτή doi.org. Προσθέστε το DOI από τη λίστα αναφορών σας στον επιλυτή και ένα έγκυρο DOI καταλήγει στη σελίδα του εκδότη για εκείνο ακριβώς το άρθρο. Ένα DOI που επιλύεται σε άσχετο άρθρο, σε εντελώς διαφορετικό περιοδικό ή σε τίποτα απολύτως είναι ένας από τους ταχύτερους ελέγχους παραισθήσεων που υπάρχουν, επειδή ένα μοντέλο που επινοεί μια παραπομπή συνήθως επινοεί και μια συμβολοσειρά DOI που φαίνεται πειστική για να τη συνοδεύσει, αντί να επαναχρησιμοποιεί μια πραγματική.

Ένα DOI που επιλύεται σωστά δεν αποτελεί αυτόματη απόδειξη ότι η παραπομπή είναι γνήσια. Ορισμένες κατασκευασμένες αναφορές δανείζονται το πραγματικό DOI ενός άσχετου άρθρου, το οποίο επιλύεται χωρίς σφάλμα και οδηγεί σε ένα πραγματικό άρθρο που δεν έχει καμία σχέση με τον ισχυρισμό που υποτίθεται ότι στηρίζει. Διαβάστε τη σελίδα στην οποία οδηγεί το DOI, όχι μόνο το γεγονός ότι φορτώθηκε.

Αντιστοιχίστε Κάθε Τίτλο με Μια Πραγματική Βάση Δεδομένων

Αναζητήστε τον ακριβή τίτλο, σε εισαγωγικά, σε μια βάση δεδομένων που καλύπτει το πεδίο σας, όχι στον ανοιχτό ιστό. Χρησιμοποιήστε κάτι όπως Crossref, το PubMed για βιοϊατρική εργασία, ή το δικό σας ευρετήριο του κλάδου. Αν χρησιμοποιείτε το Crossref, μπορείτε να χρησιμοποιήσετε τη δωρεάν guest search τους για να αναζητήσετε μια αναφορά με βάση τον τίτλο και τον πρώτο συγγραφέα, ή με βάση τον συγγραφέα και τον αριθμό σελίδας, αν δεν είστε βέβαιοι για τον τίτλο. Αυτό θα επιστρέψει το DOI και τα πλήρη μεταδεδομένα για ό,τι έχουν καταχωρισμένο. Αν δεν υπάρχει αντιστοίχιση, ή αν αυτό που επιστρέφεται είναι μια πραγματική εργασία με εντελώς διαφορετικό σύνολο συγγραφέων, μπορεί να βλέπετε το δεύτερο είδος παραισθήσεως, ένα σπασμένο DOI.

Η αναζήτηση τίτλου εντοπίζει μια συγκεκριμένη αστοχία που δεν εντοπίζει ο έλεγχος DOI, μια παραπομπή με λειτουργικό, πραγματικό DOI προσαρτημένο στον λάθος τίτλο, επειδή ο αριθμός και το κείμενο συναρμολογήθηκαν χωριστά και δεν ελέγχθηκαν ποτέ πραγματικά μεταξύ τους. Αν ο τίτλος της βάσης δεδομένων δεν ταιριάζει στενά με τον τίτλο της λίστας αναφορών σας, αντιμετωπίστε το ως κατασκευή μέχρι να μπορέσετε να εξηγήσετε τη διαφορά, όχι ως τυπογραφικό λάθος που διορθώνεται σιωπηρά.

Ελέγξτε εκ νέου τη λίστα συγγραφέων και το έτος δημοσίευσης

Μια παραπομπή που έχει παραχθεί ως παραισθήση συχνά αποδίδει σωστά τον συγγραφέα και λανθασμένα το άρθρο, επειδή ένα πραγματικό, εξέχον όνομα στο πεδίο είναι ακριβώς αυτό που θα παράγει ένα μοντέλο που αναζητά μια εύλογη παραπομπή. Αναζητήστε τη δική του λίστα δημοσιεύσεων του συγγραφέα, στη βάση δεδομένων που έχετε ήδη ανοικτή, για το έτος που αναφέρει η λίστα αναφορών σας. Αν ο συγγραφέας δημοσίευσε τρία άρθρα εκείνο το έτος και κανένα δεν ταιριάζει με τον τίτλο σας, η παραπομπή είναι πολύ πιθανό να είναι επινοημένη, κατασκευασμένη από ένα πραγματικό όνομα και ένα πραγματικό έτος που ποτέ δεν συνυπήρξαν.

Το αντίστροφο μοτίβο εμφανίζεται επίσης, ένα πραγματικό άρθρο, με σωστό τίτλο, προσαρτημένο στο λάθος έτος, συνήθως το έτος ενός preprint αντί για το έτος της τελικής δημοσίευσης, ή μια εκδοχή συνεδρίου που παρατίθεται με το μεταγενέστερο έτος δημοσίευσης του περιοδικού. Κανένα από τα δύο δεν αποτελεί κατασκευή με τη στενή έννοια του ελέγχου, αλλά και τα δύο οδηγούν έναν αναγνώστη σε έναν διαχειριστή παραπομπών ή σε έναν συνσυγγραφέα που στη συνέχεια δεν μπορεί να βρει αυτό που παραθέσατε, αρκετά κοντά στο ίδιο πρόβλημα ώστε να διορθωθεί κατά την ίδια διέλευση.

Εντοπίστε ένα εύλογο αλλά επινοημένο όνομα περιοδικού

Ένα επινοημένο όνομα περιοδικού κατασκευάζεται ώστε να ακούγεται ακριβώς σαν πραγματικό, ένα εύλογο πεδίο, ένα εύλογο επίθετο, ένα όνομα αρκετά κοντά σε ένα πραγματικό περιοδικό ώστε κανείς να μην σταματά για να το ελέγξει. Το "The Journal of Applied Cognitive Studies" είναι επινοημένο, το "The Journal of Applied Psychology" και το "Journal of Cognitive Science" υπάρχουν και τα δύο, και ένα όνομα που συγκολλά τμήματα των δύο διαβάζεται ως οικείο ακριβώς για αυτόν τον λόγο.

Αναζητήστε το όνομα του περιοδικού μόνο του, μέσα σε εισαγωγικά, και ελέγξτε για τη δική του σελίδα του εκδότη και για ένα τρέχον ISSN, όχι απλώς για ένα αποτέλεσμα σε κάποια άλλη ιστοσελίδα που παραθέτει την ίδια αναφορά. Ένα πραγματικό περιοδικό έχει αρχική σελίδα που αναφέρει συντάκτη, τρέχον τόμο και τεύχος, και ένα νόμιμο ISSN καταχωρισμένο σε αυτό. Ένα όνομα χωρίς σελίδα εκδότη, χωρίς ISSN και χωρίς καμία άλλη εργασία που να το παραθέτει είναι το πιο σαφές σημάδι σε ολόκληρο τον έλεγχο ότι η αναφορά δεν υπάρχει.

Μετατρέψτε τον έλεγχο παραπομπών με παραισθήσεις σε επαναλήψιμη λίστα ελέγχου

Εκτελέστε αυτούς τους ελέγχους με αυτή τη σειρά, σε κάθε αναφορά, πριν θεωρηθεί οριστική η λίστα. Η σειρά έχει μικρότερη σημασία από το να καλυφθούν και οι τέσσερις, μια παραπομπή μπορεί να περάσει έναν έλεγχο και παρ' όλα αυτά να αποτύχει σε έναν άλλο.

Έλεγχος	Τι εντοπίζει
Επίλυση DOI	Ένα DOI που δεν οδηγεί πουθενά, ή σε άσχετο άρθρο
Αντιστοίχιση τίτλου με βάση δεδομένων	Ένα πραγματικό DOI που έχει αποδοθεί σε λάθος τίτλο, ή έναν τίτλο που δεν επιστρέφει καθόλου αποτέλεσμα
Διασταύρωση συγγραφέα και έτους	Το όνομα ενός πραγματικού συγγραφέα που έχει αποδοθεί σε εργασία την οποία δεν έγραψε εκείνο το έτος
Επαλήθευση ονόματος περιοδικού	Ένα όνομα περιοδικού που ακούγεται εύλογο, αλλά δεν έχει ISSN, δεν έχει σελίδα εκδότη και δεν υπάρχει πραγματικά

Το AI citation checker του TextPulse εκτελεί αυτόματα μια εκδοχή αυτού του ελέγχου σε ολόκληρη τη λίστα αναφορών, ταχύτερα από το να περνά κανείς με το χέρι από καθέναν από τους τέσσερις ελέγχους σε μια εκτενή βιβλιογραφία, αν και αξίζει ακόμη να διαβάζει κανείς ο ίδιος ό,τι επισημαίνεται, αντί να αποδέχεται ή να απορρίπτει μια επισήμανση με εμπιστοσύνη. Για το βήμα του DOI ειδικότερα, ένας ειδικός μετατροπέας DOI σε παραπομπή γλιτώνει τη μετάβαση στον resolver για κάθε καταχώριση, μία προς μία.

Μια καθαρή βιβλιογραφία είναι ένας από τους αρκετούς ελέγχους πριν σταλεί ένα χειρόγραφο. Η μείωση ενός AI score για υποβολή σε περιοδικό καλύπτεται ξεχωριστά, και το ίδιο ισχύει για την επιστολή απάντησης προς τους κριτές που ακολουθεί.

Τίποτε από αυτά δεν αντικαθιστά το να διαβάσετε ξανά το δικό σας άρθρο πριν το υποβάλετε. Αν μια ενότητα εξακολουθεί να διαβάζεται ως γενική αφού τα γεγονότα έχουν ελεγχθεί, ένας AI humanizer μπορεί να εξομαλύνει το ύφος χωρίς να αγγίξει ούτε μία παραπομπή, ο οδηγός του TextPulse για την εξανθρώπιση κειμένου AI στην ακαδημαϊκή γραφή καλύπτει αυτό το πέρασμα ενότητα προς ενότητα. Μια λίστα αναφορών που επιλύεται καθαρά και ένα χειρόγραφο που διαβάζεται ως η δική σας φωνή είναι δύο ξεχωριστοί έλεγχοι, και αξίζει να εκτελούνται διαδοχικά αντί να θεωρείται ότι ο ένας καλύπτει τον άλλον.