Vì sao chú giải do AI viết mô tả những bài báo không tồn tại

Một người hướng dẫn đọc cùng một cấu trúc câu mười lần liên tiếp, mở một thư mục tài liệu chú giải, đọc to lên, trang này nối tiếp trang khác: Nghiên cứu này xem xét mối quan hệ giữa X và Y, sử dụng một mẫu người tham gia để khảo sát Z, và phát hiện rằng cần có thêm nghiên cứu. Tất cả các mục đều đọc trôi chảy. Hai trong số mười hai nguồn, được tìm kiếm theo tiêu đề, không tồn tại.

Các trích dẫn do AI bịa ra trong thư mục tài liệu hiếm khi tự bộc lộ ở dòng tài liệu tham khảo. Một tên tác giả bịa đặt và một tạp chí bịa đặt có thể trông hoàn toàn giống như thật cho đến khi ai đó tìm kiếm chúng. Điều đầu tiên, gần như luôn luôn, làm lộ sự bịa đặt là phần chú giải nằm bên dưới nó, một đoạn văn đủ tự tin để mô tả chi tiết phương pháp và phát hiện của một bài báo, đối với một bài báo chưa từng được viết.

Cách nhận biết các trích dẫn do AI bịa ra trong thư mục tài liệu

Hãy đọc phần chú giải trước dòng tài liệu tham khảo. Một trích dẫn tự nó, một tác giả, một năm, một tạp chí, một DOI, tất cả đều là những mẫu có cấu trúc nhỏ mà một mô hình ngôn ngữ đã thấy hàng nghìn lần, và chúng có thể trông đúng do ngẫu nhiên hoặc do ghi nhớ, ngay cả khi không có gì thực sự đứng sau chúng. Ngược lại, phần chú giải phải nói điều gì đó về việc bài báo cụ thể đó thực sự đã làm gì, với đủ chi tiết để bạn có thể xác định liệu điều đó đúng hay sai. Nếu một mô hình không truy xuất hoặc không đọc nguồn, nó sẽ không thể làm điều này một cách đáng tin cậy, và kết quả sẽ biểu hiện thành tính chung chung từ rất lâu trước khi chúng ta kịp kiểm tra DOI.

Tại sao phần chú giải tiết lộ nhiều hơn so với trích dẫn

Một trích dẫn bịa đặt là sự phỏng đoán được khoác áo tài liệu tham khảo, một tác giả có vẻ hợp lý, một tạp chí có vẻ hợp lý, một chuỗi trông giống DOI với đúng số lượng chữ số. Một phần chú giải bịa đặt là sự phỏng đoán được khoác áo sự thấu hiểu, và sự thấu hiểu thì khó giả mạo thuyết phục hơn nhiều trong suốt một đoạn văn đầy đủ. Mô hình phải cam kết với một mẫu, một phương pháp và một hướng kết quả, và mỗi chi tiết trong số đó đều là một điểm mà một bài báo thật có thể bác bỏ nó.

Đó cũng là lý do vì sao một chú giải dễ để người đọc kiểm tra hơn một trích dẫn đơn thuần. Một tài liệu tham khảo được định dạng theo cùng một cách dù nguồn có thật hay không, nên chỉ riêng hình thức của nó cũng không tiết lộ thông tin nào. Một chú giải đưa ra một khẳng định cụ thể về nội dung cụ thể, vì vậy nó либо được chính bài báo thực tế hỗ trợ, либо không, và chỉ cần vài phút với phần tóm tắt thực sự là xác định được điều nào đúng.

Một mô hình viết gì khi nó chưa bao giờ thực sự đọc bài báo

Hãy yêu cầu một mô hình ngôn ngữ chú giải một nguồn mà nó chỉ biết có tiêu đề và một chủ đề đại khái, và nó sẽ không từ chối hay nói dè dặt. Nó dự đoán đoạn văn mà một bài báo với tiêu đề đó có lẽ sẽ chứa, được xây dựng từ hàng nghìn phần tóm tắt tương tự đã thấy trong quá trình huấn luyện, rồi trả lại theo cùng giọng điệu tự tin mà nó sẽ dùng cho một bài báo mà nó có thể trích dẫn từng dòng.

Nó đọc lên như giá trị trung bình của mọi thứ từng được viết gần chủ đề đó. Một bản tóm tắt trung thực về một nghiên cứu về giấc ngủ và trí nhớ sẽ cho bạn biết tên những người tham gia nghiên cứu thực sự, phép thử thực sự được dùng và kích thước hiệu ứng thực sự được báo cáo. Một bản tóm tắt bịa đặt sẽ nói rằng nghiên cứu xem xét mức độ ngủ của con người và trí nhớ của họ, rồi phát hiện có một mối liên hệ mạnh giữa hai yếu tố này. Nó đủ chung chung để cũng có thể đặt vừa vặn dưới một tiêu đề khác, không liên quan.

What to check	Một chú giải xác thực thường có điều này	Một chú giải bịa đặt thường có điều này thay thế
Numbers	Một cỡ mẫu, kích thước hiệu ứng hoặc tỷ lệ phần trăm cụ thể khớp với tóm tắt thực	Không có số liệu, hoặc một con số tròn, không thể kiểm chứng, không xuất hiện ở nguồn thực tế
Method	Phương pháp thực tế được nêu tên, một phép kiểm định, thiết kế hoặc bộ dữ liệu cụ thể	Một ám chỉ mơ hồ đến "một nghiên cứu" hoặc "một phân tích" mà không nêu phương pháp
Limitations	Một hạn chế mà chính các tác giả đã nêu, cụ thể đối với thiết kế của họ	Một hạn chế chung, đúng với hầu như bất kỳ bài báo nào trong lĩnh vực này
Reference match	Trích dẫn dẫn tới một bản ghi thực có tiêu đề khớp với chú giải	Tham chiếu không dẫn tới đâu, hoặc dẫn tới một bài báo khác, không liên quan

Không cần đọc toàn bộ bài báo để thực hiện các kiểm tra này. Chỉ cần mở nó một lần, đủ lâu để xem liệu các khẳng định cụ thể trong chú giải có thực sự xuất hiện trong tóm tắt hay không.

Tại sao tỷ lệ bịa đặt cần một phiên bản mô hình và một ngày

Quy mô của vấn đề được đo lường, dù các phép đo không thống nhất với nhau, vì chúng chưa bao giờ đo cùng một thứ. Khi thử ChatGPT-3.5 và ChatGPT-4 trên cùng 42 chủ đề học thuật vào cùng một ngày trong năm 2023, các nhà nghiên cứu phát hiện 55 phần trăm trích dẫn của GPT-3.5 là bịa đặt hoàn toàn, so với 18 phần trăm của GPT-4. Cùng lời nhắc, cùng nhà nghiên cứu, cùng ngày, chỉ có mô hình thay đổi, và tỷ lệ giảm đi hai phần ba.

Một nghiên cứu riêng biệt, kiểm tra các sự kiện bịa đặt trong trường hợp thay vì các trích dẫn thư mục, cho thấy ChatGPT-4 sai 58 phần trăm số lần đối với các câu hỏi có thể kiểm chứng về các vụ án liên bang có thật, và Llama 2 sai 88 phần trăm số lần, trong nghiên cứu được công bố năm 2024. Con số đó mô tả một nhiệm vụ khác trên các mô hình khác nhau và không nên được lấy trung bình với các con số về việc bịa đặt trích dẫn ở trên thành một tỷ lệ chung duy nhất. Điều mà cả hai nghiên cứu đều đồng ý là hình dạng của vấn đề, một tỷ lệ phần trăm không kèm theo phiên bản mô hình và ngày tháng thì không mô tả điều gì cụ thể. Mẫu hình rộng hơn, trải trên sáu nghiên cứu như vậy từ 2023 đến 2026, là một chủ đề riêng, does ChatGPT make up references trình bày đầy đủ về chủ đề này. Điều quan trọng đối với một thư mục tài liệu cụ thể thì hẹp hơn, đó là liệu phần chú giải có để lộ sự bịa đặt trước khi bất kỳ ai kiểm tra DOI hay không.

Cách Kiểm Tra Từng Mục Trong Một Thư Mục Chú Giải Do AI Soạn Thảo

Bắt đầu từ dòng tài liệu tham khảo, tìm kiếm chính xác tiêu đề trong Google Scholar hoặc trên trang riêng của tạp chí, và coi một DOI là chưa được xác nhận cho đến khi nó thực sự dẫn tới đúng tiêu đề đó, vì một trích dẫn bịa đặt có thể mang một DOI dẫn tới một bài báo có thật nhưng không liên quan của người khác. An AI citation checker that resolves each entry against a real scholarly database tự động hóa việc tìm kiếm đó thay vì để việc tra cứu thủ công cho từng nguồn riêng lẻ.

Sau đó, kiểm tra phần chú giải đối chiếu với chính nguồn, chứ không phải đối chiếu với mức độ thuyết phục của nó. Mở tóm tắt thực tế và xác nhận rằng mẫu, phương pháp và phát hiện mà phần chú giải nêu ra thực sự có trong đó. A free annotated bibliography generator that grounds every summary in the paper's own abstract, thay vì tạo ra một bản tóm tắt từ trí nhớ, cho thấy một phần chú giải thực sự dựa trên nguồn trông như thế nào khi đặt cạnh một phần không như vậy.

Đối với các mục vượt qua kiểm tra, citing ChatGPT in APA và citing ChatGPT in MLA được trình bày từng bước một.

Không điều nào trong số này làm thay đổi cách bạn định dạng một mục nhập sau khi bạn đã xác nhận rằng nó là thật. Cách trích dẫn ChatGPT chính nó là một câu hỏi riêng, được trình bày đầy đủ cho APA, MLA, Chicago và IEEE, và một trình tạo trích dẫn định dạng tài liệu tham khảo thông thường theo cùng một cách bất kể kiểu trích dẫn. Điều mà cả hai đều không phát hiện là một chú giải mô tả một bài báo mà không ai viết, đủ trôi chảy để không ai nghĩ đến việc kiểm tra.