ผลบวกลวงของตัวตรวจจับ AI: เหตุใดงานเขียนของมนุษย์จึงถูกระบุ

ในปี 1982, วารสาร New England Journal of Medicine ตีพิมพ์บทความเกี่ยวกับไซโตเมกาโลไวรัสในผู้ป่วยปลูกถ่ายไขกระดูก บทความนั้นผ่านการประเมินโดยผู้ทรงคุณวุฒิและถูกเก็บอยู่ในคลังเป็นเวลาสี่ทศวรรษ ในปี 2023 นักวิจัยนำบทความนั้นไปผ่านเครื่องตรวจจับการเขียนด้วย AI ที่ OpenAI ได้เผยแพร่ต่อสาธารณะ และเครื่องมือนั้นให้คะแนนว่ามีความเป็นไปได้ 99.96 percent ว่าเป็นข้อความที่สร้างโดย AI, ก่อนที่โมเดลซึ่งอ้างว่าเป็นผู้เขียนจะมีอยู่ถึงสามสิบเจ็ดปี นี่คือผลบวกลวงของเครื่องตรวจจับ AI ในรูปแบบที่บริสุทธิ์ที่สุด, เอกสารที่ถูกระบุว่าเขียนโดยเครื่องจักร ทั้งที่เป็นไปไม่ได้เลยที่จะถูกเขียนโดยเครื่องจักร

ตัวอย่างนี้สุดโต่งเพียงในแง่ของช่วงเวลา รูปแบบพื้นฐาน, คือเครื่องตรวจจับอ่านร้อยแก้วที่เป็นสูตรสำเร็จและคาดเดาได้ว่าเป็นงานของเครื่องจักร โดยไม่คำนึงว่าใครเป็นผู้เขียนหรือเขียนเมื่อใด, ปรากฏอยู่เสมอในงานส่งทั่วไป, เช่น เรียงความ จดหมายสมัครงาน รายงานปฏิบัติการ และคำแถลงส่วนบุคคล บทความนี้กล่าวถึงสาเหตุของผลบวกลวง, งานเขียนประเภทใดที่เสี่ยงมากที่สุด, และเหตุใดคะแนนที่ถูกระบุเพียงครั้งเดียวจึงไม่ใช่หลักฐานอย่างที่ดูเหมือน

ผลบวกลวงของเครื่องตรวจจับ AI คืออะไร?

ผลบวกลวงของเครื่องตรวจจับ AI คือข้อความที่มนุษย์เขียน แต่เครื่องมือตรวจจับให้คะแนนว่าเป็นข้อความที่สร้างโดย AI ไม่มีสิ่งใดเกี่ยวกับกระบวนการเขียน ความซื่อสัตย์ หรือทักษะของผู้เขียนที่ถูกวัด เครื่องมือนี้เปรียบเทียบรูปแบบทางสถิติของประโยค, ความคาดเดาได้ของการเลือกคำและโครงสร้าง, กับรูปแบบที่มันเรียนรู้ว่าจะเชื่อมโยงกับผลลัพธ์จากเครื่องจักร

ผู้ให้บริการรายงานอัตราผลบวกลวงเป็นเปอร์เซ็นต์เล็ก ๆ เพียงค่าเดียว, โดยปกติไม่เกินหนึ่งหรือสองเปอร์เซ็นต์ ตัวเลขนั้นอธิบายการทดสอบแบบควบคุมบนเกณฑ์มาตรฐานที่ผู้ให้บริการสร้างขึ้น, ไม่ใช่การรับประกันเกี่ยวกับเอกสารใดเอกสารหนึ่งโดยเฉพาะ คำถามที่กว้างกว่าว่า เครื่องตรวจจับ AI มีความแม่นยำจริงหรือไม่ ได้รับการทดสอบอย่างอิสระแล้ว และผลลัพธ์ก็ไปอยู่ที่อื่นโดยสิ้นเชิง, บางครั้งสูงกว่าตัวเลขของผู้ให้บริการมาก บทความนี้จะจำกัดขอบเขตให้แคบลง, คืองานเขียนประเภทใดที่เพิ่มความเสี่ยงนั้น, และคะแนนที่ถูกระบุสามารถบอกอะไรได้และบอกอะไรไม่ได้

ลักษณะการเขียนแบบใดทำให้ข้อความที่มนุษย์เขียนดูเหมือนงานของเครื่องจักร

งานเขียนธรรมดา 4 ประเภทมีความเสี่ยงมากที่สุด และไม่มีประเภทใดเกี่ยวข้องกับการที่บุคคลทำสิ่งผิดใด ๆ เอกสารสั้น งานเขียนที่มีรูปแบบตายตัวมาก เนื้อหาที่ยกมาอ้างอิงหรือใช้แม่แบบ และงานเขียนที่ผ่านการตรวจแก้อย่างเข้มงวด ล้วนมีแนวโน้มได้คะแนนว่าเป็นสิ่งที่คาดเดาได้มากกว่าร้อยแก้วที่เขียนขึ้นอย่างอิสระ ซึ่งเป็นคุณสมบัติเดียวที่ตัวตรวจจับทุกชนิดกำลังวัดอยู่จริง ๆ free burstiness checker วัดความแปรผันเดียวกันนั้นโดยตรง ซึ่งเป็นวิธีที่เร็วกว่าในการมองเห็นรูปแบบนี้มากกว่าการอ่านคำอธิบายของมัน

บางประเภทของงานเขียนมีรูปแบบตายตัวโดยตั้งใจ ส่วนวิธีการ รายงานห้องปฏิบัติการ จดหมายสมัครงานมาตรฐาน และบททบทวนวรรณกรรม ล้วนให้รางวัลแก่ถ้อยคำตามแบบแผนมากกว่าถ้อยคำที่สร้างสรรค์ เพราะแบบแผนนั้นเองที่ทำให้เอกสารใช้งานได้สำหรับผู้อ่าน นักวิจัยทดสอบเรื่องนี้โดยตรงกับงานเขียนจริง, พวกเขานำบทคัดย่อวารสาร 14,400 รายการที่ตีพิมพ์ระหว่างปี 1980 ถึง 2023, หลายปีก่อนที่ large language model ใด ๆ จะมีอยู่, ผ่านตัวตรวจจับที่เปิดให้ใช้งานสาธารณะ สูงสุด 8 เปอร์เซ็นต์ถูกระบุว่าเป็น AI-generated โดยไม่คำนึงถึงปีที่ตีพิมพ์ และบทคัดย่อของ New England Journal of Medicine ถูกระบุที่ 10.24 เปอร์เซ็นต์ ซึ่งเป็นอัตราบวกเท็จสูงสุดในบรรดาวารสาร 5 ฉบับที่ทดสอบ

การทดสอบนี้ไม่อาจตรวจจับสิ่งใดเกี่ยวกับ ChatGPT ได้เลย เพราะ ChatGPT ยังไม่มีอยู่ในช่วงปีส่วนใหญ่ที่มันสุ่มตัวอย่างมา มันตรวจจับประเภทของงานเขียน อย่างเป็นทางการมากขึ้น, ดังที่การวิเคราะห์เชิงสถิติของปัญหาการตรวจจับในปี 2026 จะกล่าวไว้, ไม่มีทางสร้างตัวตรวจจับที่จะแยกแยะระหว่างประโยคที่คาดเดาได้เพราะถูกเขียนโดยซอฟต์แวร์ กับประโยคที่คาดเดาได้เพราะมันเป็นชนิดของสิ่งที่คุณเขียนในประเภทนั้นได้ ทั้งสองอย่างดูเหมือนกันทุกประการจากภายนอก

การแก้ไขอย่างหนักผลักไปในทิศทางที่คล้ายกัน ร่างแรกมีความไม่สม่ำเสมอเฉพาะตัวของผู้เขียน, ลำดับคำที่แปลก, ประโยคที่ยืดยาวเพราะความคิดยืดยาวเช่นกัน การตรวจทานอย่างละเอียด, โดยเฉพาะเมื่อทำผ่านเครื่องมืออีกตัวหนึ่ง, มักจะทำให้ความไม่สม่ำเสมอเหล่านั้นเรียบลงอย่างพอดี การเปรียบเทียบเครื่องมือตรวจจับแบบอิสระที่ใหญ่ที่สุดจนถึงปัจจุบันได้ทดสอบ 14 เครื่องมือ และพบว่าความแม่นยำลดลงมากขึ้น, สำหรับทุกเครื่องมือ, เมื่อข้อความตัวอย่างถูกถอดความหรือแปลด้วยเครื่องจักร

ลักษณะการเขียน	เหตุใดจึงทำให้ความไม่แน่นอนที่ปรากฏของเอกสารลดลง	หลักฐานแสดงอะไร
งานส่งที่สั้น	ข้อความที่น้อยลงทำให้มีพื้นที่น้อยลงสำหรับความแปรผันตามธรรมชาติที่แยกจังหวะของมนุษย์ออกจากจังหวะของเครื่องจักร	คะแนนของเอกสารสั้นแกว่งมากขึ้นตามน้ำหนักของประโยคที่ผิดปกติไม่กี่ประโยค
การเขียนแบบเป็นสูตรหรือเฉพาะสาขา	ธรรมเนียมของประเภทงานให้รางวัลแก่ถ้อยคำที่คาดหมายมากกว่าถ้อยคำที่สร้างสรรค์	บทคัดย่อวารสารก่อนยุค ChatGPT จำนวน 14,400 ฉบับ (1980 ถึง 2023) ยังทำให้เกิดผลบวกลวงได้สูงสุด 8%, บทคัดย่อของวารสารหนึ่งแตะ 10.24%
ร่างที่ถูกแก้ไขหรือถอดความอย่างหนัก	การขัดเกลาทำให้ความไม่สม่ำเสมอเฉพาะตัวที่ตัวตรวจจับอ่านว่าเป็นมนุษย์เรียบลง	การเปรียบเทียบเครื่องมือ 14 รายการแบบอิสระพบว่าความแม่นยำลดลงมากขึ้นหลังการถอดความหรือการแปลด้วยเครื่องจักร
เนื้อหาที่อ้างคำพูดหรือใช้แม่แบบ	ข้อความที่อ้างมานั้นแบกรอยสถิติของแหล่งที่มา ไม่ใช่ของผู้เขียนที่อ้างถึง	ตัวตรวจจับที่ไม่แยกคำอ้างออกจะให้คะแนนเอกสารรอบข้างจากข้อความที่ยืมมา

เหตุใดอัตราที่เผยแพร่กับอัตราในโลกจริงจึงไม่ตรงกัน

ตัวตรวจจับสำคัญทุกตัวเผยแพร่อัตราผลบวกลวงใกล้ 1% หรือต่ำกว่า การทดสอบอิสระของเครื่องมือเดียวกันนี้, ที่ทำกับเอกสารต่างกันภายใต้เงื่อนไขต่างกัน, รายงานค่าที่สูงกว่ามากเป็นประจำ, บางครั้งสูงกว่าถึงสิบเท่าหรือมากกว่า ตัวเลขทั้งสองอาจถูกต้องและยังคงอธิบายสิ่งที่แทบไม่มีอะไรเหมือนกัน, เพราะไม่ได้วัดสิ่งเดียวกัน

Turnitin เป็นตัวอย่างที่มีประโยชน์อย่างยิ่ง เพราะเผยแพร่รายละเอียดมากกว่าคู่แข่งส่วนใหญ่, อัตราบวกลวงต่ำกว่า 1 เปอร์เซ็นต์ในระดับเอกสาร, โดยมีเงื่อนไขว่ามากกว่า 20 เปอร์เซ็นต์ของงานที่ส่งต้องถูกระบุว่าเขียนโดย AI, ควบคู่กับถ้อยแถลงของบริษัทที่ระบุว่าผลลัพธ์ในโลกจริงแตกต่างจากการทดสอบในห้องปฏิบัติการของบริษัทเอง. The Washington Post นำเอกสารจริง 16 ฉบับผ่านเครื่องมือเดียวกันในปี 2023 และพบว่ามากกว่าครึ่งถูกระบุผิดอย่างน้อยบางส่วน, รวมถึงเรียงความฉบับหนึ่งที่เขียนโดยมนุษย์ทั้งหมดแต่ถูกทำเครื่องหมายว่าเป็นผลงานที่สร้างโดย AI บางส่วน. ตัวเลขทั้งสองไม่ได้ถูกแต่งขึ้น. มาจากตัวอย่างที่ต่างกัน, เกณฑ์ที่ต่างกัน, และนิยามที่ต่างกันว่าอะไรนับเป็นการทำเครื่องหมาย

ช่องว่างเดียวกันนี้ปรากฏทั่วทั้งอุตสาหกรรม, ไม่ได้เกิดขึ้นเฉพาะที่บริษัทเดียว. การเปรียบเทียบเครื่องมือ 14 รายการนั้นพบว่าแต่ละรายการมีความแม่นยำโดยรวมต่ำกว่า 80 เปอร์เซ็นต์, และมี 6 ใน 14 รายการที่ให้ผลบวกลวงกับงานเขียนของมนุษย์ที่ไม่ถูกแก้ไข ก่อนที่จะมีการถอดความเข้ามาเกี่ยวข้อง. ตัวเลขที่เผยแพร่บรรยายถึงเกณฑ์มาตรฐาน. ไม่ได้บรรยายถึงเอกสารที่กำลังวางอยู่ตรงหน้าศาสตราจารย์ในขณะนั้น

เหตุใดคะแนนที่ดูมั่นใจจึงไม่ใช่ข้อกล่าวหาที่มั่นใจ

อัตราบวกลวงฟังดูเหมือนหมายถึงโอกาสที่นักศึกษาคนหนึ่งซึ่งถูกทำเครื่องหมายว่าเป็นปัญหาจะเป็นผู้บริสุทธิ์. แต่ไม่ใช่. มันอธิบายว่าแบบทดสอบทำงานอย่างไรกับทุกคนที่ทำแบบทดสอบนั้น. และนั่นเป็นคำถามคนละแบบที่มีคำตอบคนละแบบ, เช่นเดียวกับการทดสอบคัดกรองทุกชนิดในทางการแพทย์หรือความมั่นคง

การวิเคราะห์ทางสถิติในเดือนมีนาคม 2026 จากนักวิจัยของ Griffith University ทำให้คณิตศาสตร์พื้นฐานนี้ชัดเจน. หากมองการตรวจจับ AI เป็นการทดสอบที่ใช้กับประชากรของผู้เขียนงานนักศึกษาแทนที่จะเป็นเอกสารฉบับเดียวที่แยกออกมา, ก็จะเห็นการแลกเปลี่ยน, กล่าวคือ เมื่อใดก็ตามที่บางส่วนของประชากรนั้นเขียนในลักษณะที่ทับซ้อนกับผลลัพธ์ทั่วไปของ AI โดยธรรมชาติ, ใกล้กับขนบของประเภทงาน, ใกล้กับช่วงความสามารถของผู้เรียนภาษาเป็นภาษาที่สอง, ตัวตรวจจับใดก็ตามที่มีพลังจริงในการจับงานที่เขียนโดย AI ย่อมต้องทำงานผิดพลาดกับบางส่วนของกลุ่มที่ทับซ้อนนั้น. นี่ไม่ใช่ข้ออ้างว่าเครื่องตรวจจับเฉพาะตัวใดตัวหนึ่งสร้างมาไม่ดี. แต่มันเป็นคุณสมบัติของการทดสอบประชากรที่หลากหลายด้วยเอกสารฉบับเดียวและไม่มีหลักฐานอื่น

ตัวอย่างประกอบของบทความเองแสดงให้เห็นขนาดของประเด็นที่เกี่ยวข้อง สมมติว่า 10 เปอร์เซ็นต์ของประชากรนักศึกษาเขียนในลักษณะที่ใกล้เคียงกับผลลัพธ์จาก AI ทั่วไป และมีการปรับแต่งตัวตรวจจับให้จับงานที่เขียนโดย AI จริงได้ 80 เปอร์เซ็นต์ จากนั้นคณิตศาสตร์กำหนดให้อัตราบวกเท็จเฉลี่ยต้องไม่น้อยกว่า 7.5 เปอร์เซ็นต์ในประชากรนั้น นั่นไม่ใช่ข้อบกพร่องในการออกแบบทางวิศวกรรมของตัวตรวจจับ, แต่เป็นผลโดยตรงจากระดับที่การเขียนของกลุ่มนั้นทับซ้อนกันในเชิงสถิติกับสิ่งที่กำลังถูกตรวจจับมากเพียงใด

เมื่อขยายไปยังมหาวิทยาลัยที่มีนักศึกษา 10,000 คน ขอบล่างดังกล่าวเพียงอย่างเดียวก็หมายถึงธงผิดพลาดราว 750 รายการทั่วทั้งประชากร, ซึ่งเป็นผลทางคณิตศาสตร์จากการทดสอบประชากรที่หลากหลายด้วยเอกสารเพียงฉบับเดียวโดยไม่มีหลักฐานอื่นให้พิจารณาประกอบ ผู้เขียนบทความระบุชัดเจนว่าตัวเลขเฉพาะเหล่านี้มีไว้เพื่อประกอบการอธิบาย ไม่ใช่ค่าที่วัดได้จากสถาบันจริง ตัวอย่างนี้แสดงให้เห็นรูปแบบของปัญหา มากกว่าจะเป็นการทำนายเฉพาะเจาะจงสำหรับวิทยาเขตใดวิทยาเขตหนึ่ง

ทั้งหมดนี้ไม่ได้หมายความว่าคะแนนที่ถูกธงเตือนไม่มีความหมาย แต่หมายความว่าคะแนนนั้นเป็นเพียงสัญญาณระดับประชากรที่อ่อนมาก ซึ่งถูกขอให้ตอบคำถามเกี่ยวกับบุคคลเพียงคนเดียว, เป็นความไม่สอดคล้องที่การขัดเกลาจากผู้ขายเพียงใดก็ไม่อาจปิดช่องว่างได้ทั้งหมดด้วยตัวมันเอง การอ่านอย่างรับผิดชอบจะมองตัวเลขนี้เป็นจุดเริ่มต้นในการรวบรวมหลักฐานที่ดีกว่า, เช่น ฉบับร่าง ประวัติการแก้ไข และร่องรอยเอกสารตามปกติของคนที่กำลังเขียนบางสิ่งอยู่จริง เครื่องมือฟรีของ TextPulse ช่วยให้ผู้เขียนตรวจสอบได้ว่าฉบับร่างของตนอยู่ตรงไหนบนการวัดชุดเดียวกันนี้ก่อนที่ใครอื่นจะทำ ซึ่งเป็นการใช้เทคโนโลยีในอีกแบบหนึ่ง ไม่ใช่การพยายามเอาชนะตัวตรวจจับใดตัวตรวจจับหนึ่งโดยเฉพาะ

ผู้เขียนกลุ่มใดเผชิญความเสี่ยงสูงที่สุด

งานวิจัยแสดงให้เห็นสองกลุ่มที่โดดเด่นกว่ากลุ่มอื่นใด, ได้แก่ ผู้ที่กำลังเขียนในภาษาที่สอง และผู้ที่โดยธรรมชาติเป็นผู้เขียนที่มีโครงสร้างชัดเจนหรือมีลักษณะซ้ำ ๆ ด้วยเหตุผลที่ไม่เกี่ยวกับวิธีที่พวกเขาเขียนเรียงความของตน ทั้งสองประเภทของผู้เขียนนี้ปรากฏบนลายเซ็นทางสถิติเดียวกันที่ตัวตรวจจับถูกสร้างขึ้นมาเพื่อจับให้ได้

ผู้ที่ไม่ได้ใช้ภาษาอังกฤษเป็นภาษาแม่มีความเสี่ยงที่ได้รับการบันทึกไว้สูงที่สุด การทดสอบอิสระพบซ้ำแล้วซ้ำเล่าว่าเครื่องมือตรวจจับอ่านงานเขียนเชิงวิชาการภาษาอังกฤษที่เป็นภาษาที่สองอย่างคล่องแคล่วผิดว่าเป็นข้อความที่สร้างโดยเครื่องจักรในอัตราที่สูงกว่างานเขียนของเจ้าของภาษาอย่างมาก หน้า สำหรับนักเขียนวิชาการ ESL ของ TextPulse อธิบายกลไกเบื้องหลังความเสี่ยงนั้นอย่างละเอียดมากขึ้น รวมถึงรูปแบบถ้อยคำใดที่เป็นสาเหตุของความเสี่ยงดังกล่าว

กลุ่มที่สองซึ่งมีการพูดถึงน้อยกว่าเผชิญปัญหาที่เกี่ยวข้องกัน นักวิจัยเปรียบเทียบโพสต์ใน Reddit ประมาณ 60,000 โพสต์ โดยแบ่งเป็นกลุ่มย่อยที่ระบุว่าอาจเขียนโดยผู้เขียนออทิสติก และกลุ่มตัวอย่างทั่วไป แล้วนำทั้งสองกลุ่มผ่านเครื่องมือตรวจจับที่อิง GPT-2 ทั้งสองกลุ่มมีสัดส่วนที่ถูกระบุว่าเป็นข้อความที่น่าสงสัยต่ำกว่า 2 เปอร์เซ็นต์โดยรวม แต่กลุ่มที่น่าจะเป็นออทิสติกถูกระบุในอัตราที่สูงกว่ากลุ่มตัวอย่างทั่วไปอย่างมีนัยสำคัญ งานเขียนที่เอนเอียงไปทางถ้อยคำที่ตรงตัว ซ้ำ ๆ และมีรูปแบบแน่นอน ซึ่งเป็นลักษณะที่มีการบันทึกไว้ของรูปแบบการสื่อสารบางแบบของผู้มีภาวะออทิสติก จะสร้างข้อความที่มีความแปรผันต่ำอย่างยิ่ง ซึ่งเป็นสิ่งที่เครื่องมือตรวจจับถูกสร้างมาเพื่อจับให้ได้

ผู้ให้บริการสองรายเผยแพร่ข้อมูลเพียงพอให้ตรวจสอบข้ออ้างนี้ได้ อัตราผลบวกลวงของ Turnitin เอง ถูกอธิบายแยกไว้ต่างหาก และ ความแม่นยำของ ZeroGPT ก็ถูกตรวจสอบในหน้าเฉพาะของตนเองว่าใครได้รับผลกระทบจากข้อผิดพลาดเหล่านี้มากที่สุดเป็นอีกคำถามหนึ่ง และ เหตุใดนักเขียนภาษาอังกฤษที่ไม่ได้ใช้ภาษาอังกฤษเป็นภาษาแม่จึงถูกระบุบ่อยกว่า ก็มีคำตอบของตนเอง

ทั้งหมดนี้ไม่น่าจะง่ายขึ้นในเร็ว ๆ นี้ เครื่องมือตรวจจับจะยังคงพัฒนาความสามารถในการจับข้อความที่มนุษย์ไม่ได้เขียนจริง และความหลากหลายของประชากรจะยังคงก่อให้อัตราการกล่าวหาโดยผิดพลาดบางส่วน ซึ่งวิศวกรรมที่ดีขึ้นเพียงอย่างเดียวไม่อาจปิดช่องว่างนี้ได้ทั้งหมด การเปลี่ยนแปลงที่เป็นประโยชน์มากกว่ากำลังเกิดขึ้นแล้วในบางสถาบัน คือการมองคะแนนเป็นจุดเริ่มต้นของการสนทนา ไม่ใช่จุดจบของมัน และถามว่าค่าที่เผยแพร่นั้นถูกทดสอบกับประชากรกลุ่มใดจริงก่อนที่จะเชื่อว่ามันใช้ได้กับเอกสารที่อยู่ตรงหน้า