Γιατί οι σημειώσεις που γράφονται από AI περιγράφουν άρθρα που δεν υπάρχουν

Ένας επιβλέπων διαβάζει το ίδιο σχήμα πρότασης δέκα φορές στη σειρά, ανοίγοντας μια σχολιασμένη βιβλιογραφία, διαβάζοντάς την δυνατά, μία σελίδα μετά την άλλη: Η μελέτη αυτή εξετάζει τη σχέση μεταξύ X και Y, χρησιμοποιώντας ένα δείγμα συμμετεχόντων για να διερευνήσει το Z, και διαπιστώνει ότι απαιτείται περαιτέρω έρευνα. Όλες οι καταχωρίσεις διαβάζονται με ευχέρεια. Δύο από τις δώδεκα πηγές, που αναζητήθηκαν με βάση τον τίτλο, δεν υπάρχουν.

Οι παραποιημένες παραπομπές από AI σε βιβλιογραφίες σπάνια αποκαλύπτονται στη γραμμή της αναφοράς. Ένα κατασκευασμένο όνομα συγγραφέα και ένα κατασκευασμένο περιοδικό μπορούν να μοιάζουν ακριβώς με τα πραγματικά, μέχρι να τα αναζητήσει κάποιος. Αυτό που προδίδει πρώτα την κατασκευή, σχεδόν κάθε φορά, είναι η σχολιασμένη σημείωση που βρίσκεται από κάτω της, μια παράγραφος αρκετά βέβαιη ώστε να περιγράφει λεπτομερώς τη μέθοδο και τα ευρήματα ενός άρθρου, για ένα άρθρο που δεν γράφτηκε ποτέ.

Πώς να Εντοπίσετε Παραποιημένες Παραπομπές από AI σε Βιβλιογραφίες

Διαβάστε τη σχολιασμένη σημείωση πριν από τη γραμμή της αναφοράς. Μια παραπομπή από μόνη της, ένας συγγραφέας, ένα έτος, ένα περιοδικό, ένα DOI, είναι όλα μικρά δομημένα μοτίβα που ένα γλωσσικό μοντέλο έχει δει χιλιάδες φορές, και μπορούν να φαίνονται σωστά είτε από σύμπτωση είτε από απομνημόνευση, ακόμη κι αν δεν υπάρχει τίποτε πραγματικό από πίσω τους. Μια σχολιασμένη σημείωση, αντίθετα, πρέπει να λέει κάτι για το τι πραγματικά έκανε εκείνο το συγκεκριμένο άρθρο, με αρκετή λεπτομέρεια ώστε να μπορείτε είτε να διαπιστώσετε αν είναι αληθές είτε αν είναι ψευδές. Αν ένα μοντέλο δεν ανακτά ή δεν διαβάζει την πηγή, δεν θα μπορεί να το κάνει αυτό αξιόπιστα, και το αποτέλεσμα θα εμφανιστεί ως γενικόλογο πολύ πριν φτάσουμε ποτέ να ελέγξουμε το DOI.

Γιατί η Σχολιασμένη Σημείωση Προδίδει Περισσότερα από Όσα Προδίδει η Παραπομπή

Μια κατασκευασμένη παραπομπή είναι εικασία μεταμφιεσμένη σε αναφορά, ένας εύλογος συγγραφέας, ένα εύλογο περιοδικό, μια συμβολοσειρά σε μορφή DOI με τον σωστό αριθμό ψηφίων. Μια κατασκευασμένη σχολιασμένη σημείωση είναι εικασία μεταμφιεσμένη σε κατανόηση, και η κατανόηση είναι πολύ δυσκολότερο να πλαστογραφηθεί πειστικά σε μια ολόκληρη παράγραφο. Το μοντέλο πρέπει να δεσμευτεί ως προς ένα δείγμα, μια μέθοδο και μια κατεύθυνση ευρήματος, και καθεμία από αυτές τις λεπτομέρειες είναι ένα σημείο όπου ένα πραγματικό άρθρο μπορεί να το διαψεύσει.

Αυτός είναι επίσης ο λόγος για τον οποίο μια σχολιασμένη αναφορά είναι ευκολότερο να ελεγχθεί από έναν αναγνώστη από ό,τι μια απλή παραπομπή. Μια αναφορά μορφοποιείται με τον ίδιο τρόπο είτε η πηγή είναι πραγματική είτε όχι, έτσι ώστε το σχήμα της και μόνο να μην αποκαλύπτει καμία πληροφορία. Ένα σχόλιο διατυπώνει έναν συγκεκριμένο ισχυρισμό για συγκεκριμένο περιεχόμενο, άρα είτε υποστηρίζεται από το πραγματικό άρθρο είτε όχι, και λίγα λεπτά με την πραγματική περίληψη αρκούν για να ξεκαθαρίσει ποιο από τα δύο ισχύει.

Τι γράφει ένα μοντέλο όταν δεν έχει διαβάσει ποτέ πραγματικά το άρθρο

Ζητήστε από ένα γλωσσικό μοντέλο να σχολιάσει μια πηγή για την οποία έχει μόνο έναν τίτλο και ένα πρόχειρο θέμα, και δεν θα αρνηθεί ούτε θα επιφυλαχθεί. Προβλέπει την παράγραφο που πιθανότατα θα περιείχε ένα άρθρο με αυτόν τον τίτλο, βασισμένο σε χιλιάδες παρόμοιες περιλήψεις που έχει δει στην εκπαίδευση, και την επιστρέφει στο ίδιο βέβαιο ύφος που θα χρησιμοποιούσε για ένα άρθρο το οποίο θα μπορούσε να παραθέσει γραμμή προς γραμμή.

Διαβάζεται σαν τον μέσο όρο όλων όσων έχουν γραφτεί ποτέ κοντά σε αυτό το θέμα. Μια έντιμη περίληψη μιας μελέτης για τον ύπνο και τη μνήμη θα σας δώσει το όνομα των πραγματικών συμμετεχόντων στη μελέτη, το πραγματικό τεστ που χρησιμοποιήθηκε και το πραγματικό μέγεθος επίδρασης που αναφέρθηκε. Μια επινοημένη περίληψη θα έλεγε ότι η μελέτη εξέτασε πόσο καλά κοιμήθηκαν οι άνθρωποι και τη μνήμη τους και βρήκε ότι υπήρχε μια ισχυρή σχέση μεταξύ τους. Είναι αρκετά γενική ώστε να ταιριάζει άνετα και κάτω από έναν διαφορετικό, άσχετο τίτλο.

Τι να ελεγχθεί	Μια γνήσια σχολιαστική σημείωση συνήθως έχει αυτό	Μια κατασκευασμένη συνήθως έχει αντ' αυτού αυτό
Numbers	Ένα συγκεκριμένο μέγεθος δείγματος, μέγεθος επίδρασης ή ποσοστό που αντιστοιχεί στην πραγματική περίληψη	Κανέναν αριθμό, ή ένα στρογγυλό, μη επαληθεύσιμο μέγεθος που δεν εμφανίζεται πουθενά στην πραγματική πηγή
Method	Η πραγματική μέθοδος που κατονομάζεται, ένα συγκεκριμένο τεστ, σχέδιο ή σύνολο δεδομένων	Μια αόριστη αναφορά σε "μια μελέτη" ή "μια ανάλυση" χωρίς να κατονομάζεται μέθοδος
Limitations	Ένας περιορισμός που οι ίδιοι οι συγγραφείς ανέφεραν, ειδικός για το σχέδιό τους	Ένας γενικός περιορισμός που ισχύει για σχεδόν κάθε εργασία στον τομέα
Reference match	Η παραπομπή αντιστοιχεί σε πραγματική εγγραφή της οποίας ο τίτλος ταιριάζει με τη σχολιαστική σημείωση	Η παραπομπή δεν αντιστοιχεί, ή αντιστοιχεί σε διαφορετική, άσχετη εργασία

Κανένας από αυτούς τους ελέγχους δεν απαιτεί να διαβαστεί ολόκληρη η εργασία. Απαιτούν να ανοίξει κανείς την εργασία μία φορά, για αρκετό χρόνο ώστε να δει αν οι συγκεκριμένοι ισχυρισμοί στη σχολιαστική σημείωση εμφανίζονται πράγματι στην περίληψη.

Γιατί ένα ποσοστό κατασκευής χρειάζεται έκδοση μοντέλου και ημερομηνία

Η κλίμακα του προβλήματος μετριέται, αν και οι μετρήσεις δεν συμφωνούν μεταξύ τους, επειδή ποτέ δεν μετρούσαν το ίδιο πράγμα. Εξετάζοντας το ChatGPT-3.5 και το ChatGPT-4 στα ίδια 42 ακαδημαϊκά θέματα την ίδια ημέρα το 2023, οι ερευνητές διαπίστωσαν ότι το 55 percent των παραπομπών του GPT-3.5 ήταν πλήρως κατασκευασμένες, έναντι 18 percent για το GPT-4. Ίδιες προτροπές, ίδιοι ερευνητές, ίδια ημέρα, άλλαξε μόνο το μοντέλο, και το ποσοστό μειώθηκε κατά δύο τρίτα.

Μια ξεχωριστή μελέτη, η οποία εξέτασε επινοημένα πραγματολογικά στοιχεία υποθέσεων αντί για βιβλιογραφικές παραπομπές, διαπίστωσε ότι το ChatGPT-4 ήταν λανθασμένο στο 58 percent των περιπτώσεων σε επαληθεύσιμες ερωτήσεις σχετικά με πραγματικές ομοσπονδιακές δικαστικές υποθέσεις, και το Llama 2 ήταν λανθασμένο στο 88 percent των περιπτώσεων, σε έρευνα που δημοσιεύθηκε το 2024. Το ποσοστό αυτό περιγράφει μια διαφορετική εργασία σε διαφορετικά μοντέλα και δεν πρέπει να υπολογιστεί μαζί με τα αριθμητικά στοιχεία για τη δημιουργία ψευδών παραπομπών παραπάνω σε ένα ενιαίο συνολικό ποσοστό. Αυτό στο οποίο συμφωνούν και οι δύο μελέτες είναι το σχήμα του προβλήματος, ένα ποσοστό χωρίς έκδοση μοντέλου και χωρίς συνημμένη ημερομηνία δεν περιγράφει τίποτε συγκεκριμένο. Το ευρύτερο μοτίβο, σε έξι τέτοιες μελέτες που καλύπτουν το διάστημα 2023 έως 2026, αποτελεί από μόνο του αντικείμενο, το does ChatGPT make up references το καλύπτει πλήρως. Αυτό που έχει σημασία ειδικά για μια βιβλιογραφία παραμένει στενότερο, αν η σημείωση αποκαλύπτει την κατασκευή πριν κάποιος ελέγξει το DOI.

Πώς να Ελέγξετε Κάθε Καταχώριση σε μια Βιβλιογραφία με Σχολιασμούς που Συντάχθηκε από AI

Ξεκινήστε με τη γραμμή της παραπομπής, αναζητήστε τον ακριβή τίτλο στο Google Scholar ή στον ίδιο τον ιστότοπο του περιοδικού, και θεωρήστε ένα DOI ως μη επιβεβαιωμένο έως ότου πράγματι οδηγεί σε εκείνον τον τίτλο, επειδή μια κατασκευασμένη παραπομπή μπορεί να φέρει ένα DOI που οδηγεί σε πραγματικό, άσχετο άρθρο κάποιου άλλου. An AI citation checker that resolves each entry against a real scholarly database αυτοματοποιεί αυτή την αναζήτηση αντί να την αφήνει σε χειροκίνητη αναζήτηση για κάθε μεμονωμένη πηγή.

Έπειτα ελέγξτε τον σχολιασμό σε σχέση με την ίδια την πηγή, όχι σε σχέση με το πόσο πειστικός ακούγεται. Ανοίξτε την πραγματική περίληψη και επιβεβαιώστε ότι το δείγμα, η μέθοδος και το εύρημα που ισχυρίζεται ο σχολιασμός υπάρχουν πράγματι σε αυτήν. A free annotated bibliography generator that grounds every summary in the paper's own abstract, αντί να συνθέτει ένα από μνήμης, δείχνει πώς μοιάζει ένας πραγματικά θεμελιωμένος στην πηγή σχολιασμός δίπλα σε έναν που δεν ήταν.

Για τις καταχωρίσεις που περνούν τον έλεγχο, το citing ChatGPT in APA και το citing ChatGPT in MLA παρουσιάζονται το καθένα βήμα προς βήμα.

Τίποτα από αυτά δεν αλλάζει τον τρόπο με τον οποίο μορφοποιείτε μια καταχώριση αφού έχετε επιβεβαιώσει ότι είναι πραγματική. Πώς να παραθέσετε το ChatGPT το ίδιο είναι ένα ξεχωριστό ζήτημα, που καλύπτεται πλήρως για APA, MLA, Chicago και IEEE, και ένα εργαλείο δημιουργίας παραπομπών μορφοποιεί την απλή αναφορά με τον ίδιο τρόπο ανεξάρτητα από το στυλ. Αυτό που δεν εντοπίζει κανένα από τα δύο είναι μια σχολιασμένη σημείωση που περιγράφει μια εργασία που δεν έγραψε κανείς, αρκετά άρτια ώστε κανείς να μην σκεφτεί να το ελέγξει.