เหตุใดคำอธิบายประกอบที่เขียนโดย AI จึงบรรยายบทความที่ไม่มีอยู่จริง
เอกสารอ้างอิงที่ถูกสร้างขึ้นสามารถดูเหมือนของจริงได้ทุกประการ จนกว่าจะมีผู้ค้นหามัน คำอธิบายประกอบที่อยู่ด้านล่างนั้นปลอมได้ยากกว่า, เพราะเป็นย่อหน้าที่ลื่นไหลซึ่งบรรยายวิธีการและผลการค้นพบของบทความอย่างละเอียด ทั้งที่ไม่มีใครเขียนบทความนั้นขึ้นมา
ผู้ควบคุมอ่านโครงสร้างประโยคเดียวกันสิบครั้งติดต่อกัน เปิดบรรณานุกรมเชิงอรรถประกอบ อ่านออกเสียงทีละหน้า: การศึกษานี้ตรวจสอบความสัมพันธ์ระหว่าง X และ Y โดยใช้กลุ่มตัวอย่างของผู้เข้าร่วมเพื่อสำรวจ Z และพบว่าจำเป็นต้องมีการวิจัยเพิ่มเติม รายการทั้งหมดอ่านได้อย่างลื่นไหล แหล่งข้อมูลสองในสิบสองแหล่งที่ค้นหาจากชื่อเรื่องไม่มีอยู่จริง
การอ้างอิงที่ AI สร้างขึ้นอย่างหลอนในบรรณานุกรมแทบไม่ประกาศตัวเองในบรรทัดอ้างอิง ชื่อผู้แต่งที่แต่งขึ้นและชื่อวารสารที่แต่งขึ้นอาจดูเหมือนของจริงทุกประการ จนกว่าจะมีใครค้นหามัน สิ่งที่เปิดโปงการแต่งขึ้นได้ก่อนเกือบทุกครั้งคือคำอธิบายประกอบที่อยู่ด้านล่าง, ย่อหน้าที่มั่นใจพอจะอธิบายวิธีการและผลการศึกษาของบทความอย่างละเอียด ทั้งที่บทความนั้นไม่เคยถูกเขียนขึ้นเลย
วิธีสังเกตการอ้างอิงที่ AI สร้างขึ้นอย่างหลอนในบรรณานุกรม
อ่านคำอธิบายประกอบก่อนบรรทัดอ้างอิง การอ้างอิงเพียงอย่างเดียว, ผู้แต่ง, ปี, วารสาร, DOI ล้วนเป็นรูปแบบเชิงโครงสร้างเล็ก ๆ ที่แบบจำลองภาษาเคยเห็นมาหลายพันครั้ง และอาจดูถูกต้องได้โดยบังเอิญหรือจากการจดจำ แม้จะไม่มีสิ่งจริงอยู่เบื้องหลังก็ตาม ในทางกลับกัน คำอธิบายประกอบต้องกล่าวถึงสิ่งที่บทความเฉพาะนั้นทำจริง ด้วยรายละเอียดมากพอที่คุณจะตรวจสอบได้ว่ามันจริงหรือเท็จ หากแบบจำลองไม่ดึงข้อมูลหรือไม่อ่านแหล่งข้อมูล มันจะไม่สามารถทำสิ่งนี้ได้อย่างน่าเชื่อถือ และผลลัพธ์จะปรากฏเป็นความกำกวมทั่วไปก่อนที่เราจะไปถึงการตรวจ DOI เสียอีก
เหตุใดคำอธิบายประกอบจึงเปิดโปงได้มากกว่าการอ้างอิง
การอ้างอิงที่แต่งขึ้นคือการเดาในคราบของแหล่งอ้างอิง, ผู้แต่งที่ดูเป็นไปได้, วารสารที่ดูเป็นไปได้, สตริงที่มีลักษณะเหมือน DOI พร้อมจำนวนหลักที่ถูกต้อง คำอธิบายประกอบที่แต่งขึ้นคือการเดาในคราบของความเข้าใจ และความเข้าใจนั้นยากกว่ามากที่จะปลอมให้สมจริงตลอดทั้งย่อหน้า แบบจำลองต้องระบุให้ชัดถึงกลุ่มตัวอย่าง วิธีการ และทิศทางของผลลัพธ์ และรายละเอียดแต่ละอย่างนั้นเป็นจุดที่บทความจริงสามารถโต้แย้งมันได้
นั่นก็เป็นเหตุผลด้วยว่าเหตุใดคำอธิบายประกอบจึงตรวจสอบได้ง่ายกว่าการอ้างอิงแบบเปล่า ๆ การอ้างอิงถูกจัดรูปแบบเหมือนกันไม่ว่าต้นฉบับจะเป็นของจริงหรือไม่ ดังนั้นรูปแบบเพียงอย่างเดียวจึงไม่เปิดเผยข้อมูลใด ๆ คำอธิบายประกอบทำการอ้างอิงเฉพาะเจาะจงเกี่ยวกับเนื้อหาเฉพาะเจาะจง ดังนั้นมันจึงได้รับการสนับสนุนจากบทความจริงหรือไม่ก็ไม่ และใช้เวลาเพียงไม่กี่นาทีกับบทคัดย่อจริงก็จะตัดสินได้ว่าเป็นอย่างใด
ทำให้บทความของคุณเป็นธรรมชาติมากขึ้น
ปรับข้อความที่ช่วยโดย AI ของคุณให้ฟังดูเป็นธรรมชาติ, โดยไม่แตะต้องคำสำคัญหรือการอ้างอิง
โมเดลเขียนอะไรเมื่อมันไม่เคยอ่านบทความนั้นจริง ๆ
หากขอให้โมเดลภาษาอธิบายประกอบแหล่งข้อมูลที่มันมีเพียงชื่อเรื่องและหัวข้อคร่าว ๆ มันจะไม่ปฏิเสธหรือพูดแบบคลุมเครือ มันคาดการณ์ย่อหน้าที่บทความที่มีชื่อเรื่องนั้นน่าจะมี โดยสร้างจากบทคัดย่อนับพันที่คล้ายกันซึ่งเคยเห็นระหว่างการฝึก และส่งกลับมาในสำนวนที่มั่นใจแบบเดียวกับที่มันจะใช้กับบทความที่มันสามารถอ้างทีละบรรทัดได้
มันอ่านเหมือนค่าเฉลี่ยของทุกสิ่งที่เคยเขียนใกล้กับหัวข้อนั้น บทสรุปที่ซื่อสัตย์ของการศึกษาว่าด้วยการนอนหลับและความจำจะระบุชื่อผู้เข้าร่วมการศึกษาจริง การทดสอบจริงที่ใช้ และขนาดผลจริงที่รายงานไว้ บทสรุปที่แต่งขึ้นจะบอกว่าการศึกษานั้นดูว่าคนหลับได้ดีเพียงใดและความจำของพวกเขาเป็นอย่างไร และพบว่ามีความเชื่อมโยงที่ชัดเจนระหว่างทั้งสอง มันเป็นข้อความที่ทั่วไปพอจะวางไว้ใต้ชื่อเรื่องอื่นที่ไม่เกี่ยวข้องกันได้อย่างสบายเช่นกัน
| สิ่งที่ต้องตรวจสอบ | คำอธิบายประกอบที่แท้จริงมักมีสิ่งนี้ | คำอธิบายประกอบที่สร้างขึ้นมักมีสิ่งนี้แทน |
|---|---|---|
| ตัวเลข | ขนาดตัวอย่าง ขนาดอิทธิพล หรือร้อยละที่เฉพาะเจาะจง ซึ่งสอดคล้องกับบทคัดย่อจริง | ไม่มีตัวเลข หรือเป็นค่ากลม ๆ ที่ตรวจสอบไม่ได้ และไม่ปรากฏที่ใดในแหล่งต้นฉบับจริง |
| วิธีการ | ระบุวิธีการจริงที่ใช้ชื่อไว้แล้ว, การทดสอบ การออกแบบ หรือชุดข้อมูลที่เฉพาะเจาะจง | การกล่าวถึงอย่างคลุมเครือว่าเป็น "การศึกษา" หรือ "การวิเคราะห์" โดยไม่ระบุวิธีการ |
| ข้อจำกัด | ข้อจำกัดหนึ่งข้อที่ผู้เขียนเองได้ระบุไว้ ซึ่งเฉพาะเจาะจงกับการออกแบบของตน | ข้อจำกัดทั่วไปที่ใช้ได้กับบทความเกือบทุกชิ้นในสาขานี้ |
| การตรงกันของเอกสารอ้างอิง | การอ้างอิงนำไปสู่ระเบียนจริงที่มีชื่อเรื่องตรงกับคำอธิบายประกอบ | การอ้างอิงไม่สามารถนำไปสู่ระเบียนได้ หรือไปสู่บทความอื่นที่ไม่เกี่ยวข้อง |
การตรวจสอบเหล่านี้ไม่จำเป็นต้องอ่านทั้งบทความ แต่ต้องเปิดบทความครั้งหนึ่งให้นานพอที่จะดูว่าข้อกล่าวอ้างเฉพาะในคำอธิบายประกอบปรากฏอยู่ในบทคัดย่อจริงหรือไม่
เหตุใดอัตราการสร้างขึ้นมาจึงต้องมีรุ่นของโมเดลและวันที่
ขนาดของปัญหานี้มีการวัดไว้แล้ว แม้ว่าการวัดจะไม่สอดคล้องกันเอง เพราะไม่ได้วัดสิ่งเดียวกันตั้งแต่แรก เมื่อทดสอบ ChatGPT-3.5 และ ChatGPT-4 กับหัวข้อวิชาการเดียวกัน 42 หัวข้อ ในวันเดียวกันในปี 2023 นักวิจัยพบว่า 55 เปอร์เซ็นต์ของการอ้างอิงของ GPT-3.5 ถูกสร้างขึ้นทั้งหมด เทียบกับ 18 เปอร์เซ็นต์สำหรับ GPT-4 คำสั่งเดียวกัน นักวิจัยกลุ่มเดียวกัน วันเดียวกัน มีเพียงโมเดลที่เปลี่ยนไป และอัตราลดลงสองในสาม
การศึกษาที่แยกออกมาต่างหาก ซึ่งทดสอบข้อเท็จจริงของกรณีที่ถูกหลอนขึ้นมาแทนที่จะทดสอบการอ้างอิงบรรณานุกรม พบว่า ChatGPT-4 ให้คำตอบผิด 58 เปอร์เซ็นต์ของคำถามที่ตรวจสอบได้เกี่ยวกับคดีศาลรัฐบาลกลางจริง และ Llama 2 ให้คำตอบผิด 88 เปอร์เซ็นต์ ในงานวิจัยที่เผยแพร่ในปี 2024 ตัวเลขดังกล่าวอธิบายงานอีกแบบหนึ่งบนโมเดลอีกชุดหนึ่ง และไม่ควรนำไปเฉลี่ยรวมกับตัวเลขการสร้างการอ้างอิงปลอมข้างต้นให้เป็นอัตราเดียวในพาดหัว สิ่งที่การศึกษาทั้งสองเห็นพ้องกันคือรูปแบบของปัญหา, เปอร์เซ็นต์ที่ไม่มีระบุเวอร์ชันของโมเดลและวันที่กำกับไว้ไม่ได้อธิบายสิ่งใดที่เฉพาะเจาะจง รูปแบบที่กว้างกว่านั้น, จากการศึกษาทั้งหกชิ้นที่ครอบคลุมช่วงปี 2023 ถึง 2026, เป็นหัวข้อของมันเอง, does ChatGPT make up references อธิบายไว้อย่างครบถ้วน สิ่งที่สำคัญโดยเฉพาะสำหรับบรรณานุกรมยังคงแคบกว่า, คือคำอธิบายประกอบบอกการสร้างขึ้นปลอมก่อนที่ใครจะตรวจ DOI ได้หรือไม่
วิธีตรวจสอบทุกรายการในบรรณานุกรมเชิงอธิบายที่ร่างด้วย AI
เริ่มจากบรรทัดอ้างอิง, ค้นหาชื่อเรื่องที่ตรงตัวใน Google Scholar หรือเว็บไซต์ของวารสารเอง และถือว่า DOI ยังไม่ยืนยันจนกว่าจะนำไปสู่ชื่อเรื่องนั้นจริง, เพราะการอ้างอิงที่สร้างขึ้นปลอมอาจมี DOI ที่พาไปยังบทความจริงที่ไม่เกี่ยวข้องของผู้อื่น An AI citation checker that resolves each entry against a real scholarly database ทำให้การค้นหานั้นเป็นอัตโนมัติ แทนที่จะปล่อยให้ต้องค้นหาด้วยตนเองสำหรับทุกแหล่งข้อมูลทีละรายการ
จากนั้นตรวจสอบคำอธิบายประกอบเทียบกับแหล่งข้อมูลนั้นเอง ไม่ใช่เทียบกับความน่าเชื่อที่มันดูเหมือนจะมี เปิดบทคัดย่อจริงและยืนยันว่าตัวอย่าง วิธีการ และข้อค้นพบที่คำอธิบายประกอบอ้างถึงมีอยู่จริงในนั้น A free annotated bibliography generator that grounds every summary in the paper's own abstract แทนที่จะเรียบเรียงจากความทรงจำ แสดงให้เห็นว่าคำอธิบายประกอบที่ยึดโยงกับแหล่งข้อมูลอย่างแท้จริงมีลักษณะอย่างไรเมื่อวางคู่กับคำอธิบายที่ไม่ได้เป็นเช่นนั้น
สำหรับรายการที่ผ่านการตรวจสอบ, citing ChatGPT in APA และ citing ChatGPT in MLA ได้อธิบายไว้ทีละขั้นตอนแล้ว
ทั้งหมดนี้ไม่ได้เปลี่ยนวิธีการจัดรูปแบบรายการอ้างอิงเมื่อคุณยืนยันแล้วว่ามันเป็นของจริง วิธีอ้างอิง ChatGPT เอง เป็นคำถามอีกเรื่องหนึ่ง ซึ่งอธิบายไว้อย่างครบถ้วนสำหรับ APA, MLA, Chicago และ IEEE และ เครื่องมือสร้างรายการอ้างอิงจะจัดรูปแบบเอกสารอ้างอิงมาตรฐานในลักษณะเดียวกันไม่ว่าสไตล์ใด สิ่งที่ทั้งสองอย่างตรวจไม่พบคือคำอธิบายประกอบที่บรรยายถึงบทความที่ไม่มีใครเขียน ซึ่งลื่นไหลพอจนไม่มีใครคิดจะตรวจสอบ
คำถามที่พบบ่อย
เพราะการอ้างอิงเพียงต้องดูเหมือนถูกต้องเท่านั้น, ผู้แต่ง วารสาร และ DOI ที่ดูเป็นไปได้ก็เพียงพอที่จะผ่านการมองเพียงคร่าว ๆ ได้ แต่คำอธิบายประกอบต้องถูกต้อง, เพราะมันกล่าวอ้างเฉพาะเจาะจงเกี่ยวกับวิธีการและผลการค้นพบของบทความ ซึ่งต้องตรงกับแหล่งจริงหรือไม่ก็ไม่ตรงเลย แบบจำลองที่ไม่เคยอ่านบทความนั้นสามารถปลอมรูปร่างของเอกสารอ้างอิงได้ง่ายกว่าการปลอมเนื้อหาของบทสรุปมาก
Content planner and copywriter at TextPulse. Sara runs the blog day to day, from planning and drafting through to publishing. She writes the practical guides: clear explanations of academic writing problems, aimed at the person who actually has to hand something in.