เครื่องตรวจจับ AI แม่นยำหรือไม่, ผลบวกลวงและอคติ

Turnitin อ้างว่าอัตราผลบวกลวงของตนต่ำกว่า 1%. กลุ่มนักวิจัยอิสระกลุ่มหนึ่งได้ทดสอบตัวตรวจจับหลายตัวกับตัวอย่างงานเขียนที่หลากหลายกว่าจาก ผู้ใช้ภาษาอังกฤษที่ไม่ใช่เจ้าของภาษา. พวกเขาพบว่าอัตราผลบวกลวงเฉลี่ยสูงกว่า 60% สำหรับงานเขียนประเภทเดียวกันนั้น ตัวเลขทั้งสองเป็นจริง ทั้งสองได้รับการเผยแพร่ และทั้งสองเกี่ยวข้องกับตัวตรวจจับที่ขายให้กับตลาดเดียวกัน ตัวตรวจจับ AI แม่นยำหรือไม่? ขึ้นอยู่กับว่าคุณทดสอบกับประชากรกลุ่มใด ใช้ตัวตรวจจับใด และผู้ให้บริการของคุณนิยามเรื่องนี้ไว้อย่างไรตั้งแต่แรก

บทความนี้จะไม่อธิบายซ้ำว่าตัวตรวจจับคำนวณคะแนนนั้นอย่างไร กลไก, perplexity, ความน่าจะเป็นของโทเคน, วิธีที่ตัวจำแนกถูกฝึก, ได้ อธิบายไว้อย่างละเอียดที่อื่นแล้ว, และควรอ่านก่อนหากคุณยังไม่ได้อ่าน สิ่งที่สำคัญที่นี่คือสิ่งที่เกิดขึ้นเมื่อมีคะแนนแล้ว, มันผิดบ่อยเพียงใด, งานเขียนของใครที่มันมักผิดเกี่ยวกับมากที่สุด, และการกล่าวหาอย่างผิดพลาดจริง ๆ แล้วมีต้นทุนเท่าใดต่อคนที่ไม่ได้ทำอะไรผิด

ตัวตรวจจับ AI แม่นยำหรือไม่?

ไม่สม่ำเสมอ, และช่องว่างระหว่างคำกล่าวอ้างทางการตลาดกับการทดสอบอิสระได้รับการบันทึกไว้อย่างชัดเจนแล้ว กลุ่มนักวิจัยที่นำโดย Debora Weber-Wulff ได้เผยแพร่ผลการค้นพบเกี่ยวกับเครื่องมือตรวจจับ 14 รายการ, รวมทั้ง 12 รายการที่ใช้ฟรีและ 2 รายการเชิงพาณิชย์, ซึ่งถูกทดสอบกับข้อความผสมระหว่างมนุษย์และ ChatGPT ในปี 2023 พวกเขาพบว่าไม่มีเครื่องมือใดเหล่านี้แม่นยำหรือเชื่อถือได้, และมีอคติในตัวที่ทำให้จัดข้อความที่สร้างโดยเครื่องจักรเป็นข้อความมนุษย์มากกว่าจะเป็นในทางกลับกัน เครื่องมือเชิงพาณิชย์ 2 รายการที่รวมอยู่ในการทดสอบนี้คือ Turnitin และ PlagiarismCheck เครื่องมือทั้งหมดในการทดสอบนี้ทำงานได้แย่ลงเมื่อข้อความถูกถอดความใหม่

แต่เมื่อเวลาผ่านไป 2 ปี สถานการณ์ไม่ได้หยุดนิ่ง เอกสารวิชาการฉบับร่างจาก Booth School แห่ง University of Chicago โดย Brian Jabarian และ Alex Imas ได้นำเครื่องมือหน้าใหม่ 3 ราย ได้แก่ Pangram, GPTZero และ Originality.ai รวมทั้งคู่แข่งแบบโอเพนซอร์ส 1 ราย มาทดสอบอย่างเข้มข้นด้วยชิ้นงานที่มนุษย์เขียนเกือบ 2,000 ชิ้นจากบล็อก ข่าว บทวิจารณ์ และงานวรรณกรรม ผลปรากฏว่า ภายใต้เงื่อนไขการทดสอบที่ควบคุมไว้ เครื่องมือที่ดีที่สุดในกลุ่มไม่เคยมีความแม่นยำต่ำกว่า 99.8 percent และคงอัตราบวกเทียมไว้ในระดับต่ำ แบบจำลองโอเพนซอร์สทำได้พอ ๆ กับการเดาแบบสุ่ม สถานการณ์ดีขึ้นจริง ๆ เพียงแต่ก็ยังไม่มากนัก แค่เล็กน้อยเท่านั้น

แต่ประเด็นสำคัญคือคำว่า controlled ข้อความมาตรฐานสำหรับการเปรียบเทียบมีความสะอาด สมบูรณ์ และถูกสร้างขึ้นภายใต้เงื่อนไขที่ทราบแน่ชัด เรียงความที่ส่งเข้ามาไม่ใช่สิ่งเหล่านั้นอย่างแน่นอนในทุกกรณี ผลลัพธ์ในโลกจริงอาจไม่เหมือนกับผลในห้องปฏิบัติการ ดังที่ chief product officer ของ Turnitin เองเคยกล่าวต่อสาธารณะไว้ แม้ว่านั่นจะเป็นการยอมรับที่พบได้ไม่บ่อยและมีประโยชน์จากผู้ขายก็ตาม ส่วนถัดไปจะนำตัวเลขของผู้ขายมาเทียบกับตัวเลขจากงานอิสระ เพื่อให้เห็นช่องว่างอย่างชัดเจน แทนที่จะเป็นเพียงการกล่าวอ้าง

ข้ออ้างของผู้ขายเทียบกับการทดสอบอิสระ

ตารางด้านล่างจัดวางสิ่งที่เครื่องตรวจจับ 4 รายอ้างเกี่ยวกับตนเอง เทียบกับสิ่งที่นักวิจัยอิสระวัดได้เมื่อทดสอบเครื่องมือเหล่านั้นโดยตรง ให้อ่านคอลัมน์ตรงกลาง 2 คอลัมน์ร่วมกัน ไม่ใช่อ่านเฉพาะคอลัมน์ของผู้ขายเพียงอย่างเดียว

เครื่องตรวจจับ	ความแม่นยำที่ผู้ขายอ้าง	ที่สังเกตได้อย่างอิสระ	สิ่งที่ผู้ขายกล่าวเกี่ยวกับผลบวกลวง
Turnitin	เกณฑ์ความเชื่อมั่น 98% ก่อนทำเครื่องหมาย, ผลบวกลวงระดับเอกสารต่ำกว่า 1%	ความแม่นยำประมาณ 80%, ดีที่สุดในบรรดาเครื่องมือ 12 รายการในการเปรียบเทียบปี 2023, บนเวอร์ชันก่อนหน้าของเครื่องมือ	ต่ำกว่า 1% ในระดับเอกสารเมื่อสูงกว่าเกณฑ์ข้อความที่เขียนโดย AI 20%, ประมาณ 4% ในระดับประโยค
GPTZero	การตรวจจับข้อความ AI 95.7% ที่อัตราผลบวกลวง 1% บนเกณฑ์มาตรฐาน RAID ที่ประเมินอย่างอิสระ	ความแม่นยำ 96% บนข้อความสั้น, อัตราผลบวกลวงต่ำกว่า 1% ในการศึกษาของ University of Chicago Booth ปี 2025	รายงานอัตราผลบวกลวง 1% บนเกณฑ์มาตรฐาน RAID
Originality.ai	ความแม่นยำ 99%, อัตราผลบวกลวง 0.5% (รุ่น Lite), 1.5% (รุ่น Turbo)	อัตราผลบวกลวงต่ำกว่า 1%, แต่พลาดข้อความที่เขียนโดย AI 10% ถึง 40% ในการศึกษา Booth เดียวกัน	เผยแพร่ตัวเลขผลบวกลวงแยกตามระดับรุ่น
Pangram	อัตราความผิดพลาดที่กล่าวว่า ต่ำกว่าคู่แข่งมากกว่า 38 เท่า, ระบุว่าไม่มีอคติต่อผู้เขียนภาษาอังกฤษที่ไม่ใช่เจ้าของภาษา	ความแม่นยำไม่ต่ำกว่า 99.8%, อัตราผลบวกลวงใกล้ศูนย์, ในการศึกษา Booth	ระบุอัตราผลบวกลวงใกล้ศูนย์ใน 10 โดเมนข้อความและ 8 โมเดลภาษา

มีสองประเด็นที่เด่นชัด ประการแรก ตัวเลขทั้งหมดของผู้ขายมาจากห้องปฏิบัติการที่ผู้ขายควบคุม และตัวเลขของ Booth มาจากนักวิจัยที่ไม่มีสิ่งใดจะขาย ประการที่สอง Turnitin ไม่ปรากฏเลยในคอลัมน์ตรงกลางนั้น เนื่องจากการศึกษาในปี 2025 ไม่ได้ทดสอบเครื่องมือนี้ ในตาราง ตัวเลขที่ได้อย่างอิสระของมันอิงจากการเปรียบเทียบก่อนหน้าในปี 2023 แต่ทำบนเวอร์ชันเก่าของเครื่องมือ ดังนั้นโปรดจำข้อนี้ไว้เมื่อพิจารณาตารางในฐานะการเปรียบเทียบแบบเทียบเคียงกันโดยตรง

Turnitin มีความแม่นยำเพียงใดในการตรวจจับ AI?

Turnitin ไม่ได้เผยแพร่ตัวเลขความแม่นยำเพียงค่าเดียว แต่เผยแพร่เกณฑ์และการแลกเปลี่ยนแทน บริษัทได้ระบุว่า จะตั้งค่าสถานะเอกสารก็ต่อเมื่อมีความมั่นใจ 98 เปอร์เซ็นต์ว่าข้อความส่วนนั้นเขียนโดย AI และเกณฑ์นี้เองที่ทำให้อัตราผลบวกลวงระดับเอกสารต่ำกว่า 1 เปอร์เซ็นต์ Turnitin ประเมินว่ามันตรวจจับงานเขียนที่ได้รับความช่วยเหลือจาก AI ได้ราว 85 เปอร์เซ็นต์ โดยปล่อยส่วนที่เหลือผ่านไปโดยตั้งใจ มากกว่าจะเสี่ยงกล่าวหาอย่างผิดพลาด

สัดส่วนจริงของผลบวกลวงที่ Turnitin ให้ในระดับประโยค, ซึ่งเป็นกรณีที่อินเทอร์เฟซไฮไลต์บรรทัดเฉพาะแทนทั้งเอกสาร, จริง ๆ แล้วใกล้เคียง 4 เปอร์เซ็นต์มากกว่า ตัวเลขนี้ควรรู้ไว้หากอาจารย์จับภาพหน้าจอเพียงย่อหน้าที่ถูกตั้งค่าสถานะย่อหน้าเดียว แทนที่จะดูคะแนนทั้งเอกสาร เพราะประโยคที่ถูกไฮไลต์มีโอกาสผิดพลาดสูงกว่าคะแนนระดับเอกสารที่อยู่ข้าง ๆ อย่างมีนัยสำคัญ

นอกจากนี้ ยังควรสังเกตว่า Turnitin ได้ยอมรับช่องว่างนี้โดยตรง พวกเขาพบว่าผลลัพธ์ในโลกจริงชุดแรกของตน, โดยเฉพาะสำหรับเอกสารที่สั้นกว่า, มีอัตราผลบวกลวงสูงกว่าที่คาดไว้จากการทดสอบในห้องปฏิบัติการ ดังนั้นพวกเขาจึงปรับความยาวเอกสารขั้นต่ำที่จะให้คะแนนจาก 150 เป็น 300 คำ นั่นคือผู้ให้บริการที่ปรับผลิตภัณฑ์ของตนเอง เพราะตัวเลขที่เผยแพร่ไว้ไม่สามารถยืนหยัดได้เมื่ออยู่นอกห้องปฏิบัติการ ซึ่งบอกอะไรได้พอ ๆ กับการศึกษาที่เป็นอิสระใด ๆ

ผลบวกลวงมีต้นทุนจริงอย่างไรต่อผู้เรียน

เรื่องนี้เกิดขึ้นกับนักศึกษา Executive MBA ที่ Yale's School of Management นักศึกษาคนนั้นถูกกล่าวหาว่าละเมิดกฎ, ในความหมายที่ตรงตัวที่สุดเท่าที่จะเป็นไปได้ เครื่องมือตรวจจับที่เกี่ยวข้องคือ GPTZero ข้อสอบปลายภาคของนักศึกษาในรายวิชาการเงินถูกผู้ช่วยสอนตั้งค่าสถานะ เพราะเขาคิดว่างานเขียนยาวและซับซ้อน พร้อมเครื่องหมายวรรคตอนและไวยากรณ์ที่เกือบสมบูรณ์แบบ และอาจารย์ท่านนี้ได้นำงานดังกล่าวไปตรวจผ่าน GPTZero ซึ่งให้คะแนนคำตอบว่าอาจสร้างโดย AI

เขาไม่ผ่านรายวิชาและถูกพักการเรียนเป็นเวลาหนึ่งปี คดีความของเขา ซึ่งยื่นต่อศาลรัฐบาลกลางในเดือนกุมภาพันธ์ 2025 อ้างว่านโยบายของ Yale เองจำกัดการใช้เครื่องมืออย่าง GPTZero ด้วยเหตุผลนี้โดยตรง คืออัตราผลบวกลวงที่มีการบันทึกไว้ต่อผู้ที่ไม่ได้ใช้ภาษาอังกฤษเป็นภาษาแม่ และเขาใช้เครื่องมือนี้เพื่อตรวจงานของตนเองโดยขัดต่อนโยบายดังกล่าว คำยื่นของเขายังอ้างว่า GPTZero ให้คะแนนว่าเป็นข้อความที่สร้างโดย AI 100 เปอร์เซ็นต์ สำหรับงานเขียนเชิงวิชาการของอดีตอธิการบดีมหาวิทยาลัยของ Yale เองและคณบดีของโรงเรียนธุรกิจ

ผู้พิพากษาปฏิเสธที่จะออกคำสั่งคุ้มครองชั่วคราวในเดือนพฤษภาคม 2025 คดียังไม่ได้รับการยุติลง, ณ เวลาที่ข้าพเจ้าเขียนข้อความนี้ โจทก์ซึ่งเป็นชาวฝรั่งเศส อ้างว่าอคติที่เป็นที่ทราบกันดีต่อผู้ที่ไม่ได้ใช้ภาษาอังกฤษเป็นภาษาแม่เป็นสาเหตุที่ทำให้งานเขียนของเขาออกมาในลักษณะที่เป็นอยู่ นั่นคือสิ่งที่เราจะพิจารณาในส่วนถัดไป สิ่งที่ไม่มีข้อโต้แย้งคือราคาที่ต้องจ่าย, เวลาหนึ่งปีที่สูญเสียไปจากหลักสูตรปริญญา, เกรดตก, ค่าใช้จ่ายทางกฎหมาย, และหลายเดือนที่ต้องต่อสู้กันเรื่องคะแนนแทนที่จะได้ปริญญา อัตราผลบวกลวง 1 เปอร์เซ็นต์ฟังดูน้อย จนกระทั่งประชากรจำนวนมากทำให้มันตกอยู่กับบุคคลใดบุคคลหนึ่ง

ลักษณะการเขียนแบบใดที่ทำให้ข้อความของมนุษย์ดูเหมือนสร้างโดยเครื่องจักร

การเขียนทั่วไปสี่ประเภทมีความเสี่ยงมากที่สุด และไม่มีประเภทใดเกี่ยวข้องกับการที่บุคคลทำสิ่งใดผิด เอกสารสั้น, การเขียนที่เป็นแบบแผนอย่างมาก, เนื้อหาที่มีการอ้างคำพูดหรือใช้แม่แบบ, และการเขียนที่ผ่านการตรวจแก้อย่างเข้มงวด ล้วนมีแนวโน้มที่จะได้คะแนนว่าเป็นข้อความที่คาดเดาได้มากกว่าร้อยแก้วที่เขียนขึ้นอย่างอิสระ ซึ่งเป็นคุณสมบัติเดียวที่ตัวตรวจจับทุกชนิดกำลังวัดอยู่จริง ๆ free burstiness checker วัดความแปรผันเดียวกันนั้นโดยตรง ซึ่งเป็นวิธีที่เร็วกว่าในการมองเห็นรูปแบบนี้มากกว่าการอ่านคำอธิบายเกี่ยวกับมัน

บางประเภทของงานเขียนมีลักษณะเป็นสูตรสำเร็จโดยตั้งใจ ส่วนวิธีการ รายงานปฏิบัติการ จดหมายสมัครงานมาตรฐาน และบทปริทัศน์วรรณกรรม ล้วนให้รางวัลแก่ถ้อยคำตามแบบแผนมากกว่าถ้อยคำที่สร้างสรรค์ เพราะแบบแผนคือสิ่งที่ทำให้เอกสารนั้นใช้งานได้สำหรับผู้อ่าน นักวิจัยได้ทดสอบเรื่องนี้โดยตรงกับงานเขียนจริง, พวกเขานำบทคัดย่อวารสาร 14,400 รายการที่ตีพิมพ์ระหว่างปี 1980 ถึง 2023, ซึ่งเป็นปีก่อนที่ large language model ใด ๆ จะมีอยู่, ไปผ่านตัวตรวจจับที่เปิดให้ใช้สาธารณะ พบว่าสูงสุด 8 เปอร์เซ็นต์ถูกระบุว่าเป็น AI-generated โดยไม่คำนึงถึงปีที่ตีพิมพ์ และบทคัดย่อของ New England Journal of Medicine ถูกระบุที่ 10.24 เปอร์เซ็นต์ ซึ่งเป็นอัตราบวกเท็จสูงสุดจากวารสารทั้งห้าที่ทดสอบ

การทดสอบนี้ไม่อาจตรวจจับสิ่งใดเกี่ยวกับ ChatGPT ได้เลย เพราะ ChatGPT ยังไม่มีอยู่ในช่วงปีส่วนใหญ่ที่นำมาทดสอบ มันตรวจจับประเภทของงานเขียน กล่าวให้เป็นทางการมากขึ้น, ดังที่การวิเคราะห์เชิงสถิติของปัญหาการตรวจจับในปี 2026 จะอธิบายไว้, ไม่มีทางสร้างตัวตรวจจับที่จะแยกแยะระหว่างประโยคที่คาดเดาได้เพราะถูกเขียนโดยซอฟต์แวร์ กับประโยคที่คาดเดาได้เพราะเป็นลักษณะของสิ่งที่คุณเขียนในประเภทงานเขียนนั้น ทั้งสองอย่างดูเหมือนกันทุกประการจากภายนอก

การแก้ไขอย่างหนักก็ผลักไปในทิศทางที่คล้ายกัน ร่างแรกมีความไม่สม่ำเสมอเฉพาะตัวของผู้เขียน, เช่น ลำดับคำที่แปลก, ประโยคที่ยืดยาวเพราะความคิดยืดยาวเช่นกัน การพิสูจน์อักษรอย่างละเอียด, โดยเฉพาะเมื่อทำผ่านเครื่องมืออีกตัวหนึ่ง, มักจะทำให้ความไม่สม่ำเสมอเหล่านั้นเรียบหายไปอย่างพอดี การเปรียบเทียบเครื่องมือตรวจจับที่เป็นอิสระและใหญ่ที่สุดจนถึงปัจจุบันได้ทดสอบเครื่องมือ 14 รายการ และพบว่าความแม่นยำลดลงไปอีกสำหรับทุกเครื่องมือ เมื่อข้อความตัวอย่างถูกถอดความใหม่หรือแปลด้วยเครื่องจักร

ลักษณะการเขียน	เหตุใดจึงทำให้เอกสารดูมีความไม่แน่นอนน้อยลง	หลักฐานแสดงอะไร
งานเขียนที่สั้น	ข้อความที่น้อยลงทำให้มีพื้นที่น้อยลงสำหรับความแปรผันตามธรรมชาติที่แยกจังหวะของมนุษย์ออกจากจังหวะของเครื่องจักร	คะแนนของเอกสารสั้นแกว่งมากขึ้นตามน้ำหนักของประโยคที่ผิดปกติไม่กี่ประโยค
งานเขียนที่เป็นสูตรสำเร็จหรือเฉพาะสาขา	ธรรมเนียมของประเภทงานเขียนให้รางวัลแก่ถ้อยคำที่คาดหมายได้มากกว่าถ้อยคำที่สร้างสรรค์	บทคัดย่อวารสารก่อนยุค ChatGPT จำนวน 14,400 ฉบับ (1980 ถึง 2023) ยังคงกระตุ้นผลบวกลวงได้สูงสุด 8% บทคัดย่อของวารสารหนึ่งแตะ 10.24%
ร่างที่ได้รับการแก้ไขอย่างหนักหรือถอดความใหม่	การขัดเกลาทำให้ความไม่สม่ำเสมอเฉพาะตัวที่ตัวตรวจจับอ่านว่าเป็นลักษณะของมนุษย์เรียบลง	การเปรียบเทียบเครื่องมือ 14 รายการอย่างอิสระพบว่าความแม่นยำลดลงมากขึ้นหลังการถอดความใหม่หรือการแปลด้วยเครื่อง
เนื้อหาที่อ้างคำพูดหรือใช้แม่แบบ	ข้อความที่อ้างมานั้นมีลายเซ็นทางสถิติของแหล่งที่มา ไม่ใช่ของผู้เขียนที่อ้างถึง	ตัวตรวจจับที่ไม่ยกเว้นคำอ้างจะให้คะแนนเอกสารโดยรอบตามข้อความที่ยืมมา

เหตุใดตัวตรวจจับ AI จึงจำแนกผู้พูดภาษาอังกฤษที่ไม่ใช่เจ้าของภาษาอย่างผิดพลาด?

อย่างแย่ และห่างไกลมาก นั่นคือข้อสรุปของการศึกษาที่เป็นครั้งแรกที่ให้ตัวเลขไว้ Stanford นักวิจัยได้ทดสอบตัวตรวจจับ GPT ที่ใช้กันอย่างแพร่หลาย 7 รายการกับเรียงความ TOEFL 91 ฉบับของผู้พูดภาษาอังกฤษที่ไม่ใช่เจ้าของภาษา และเรียงความ 88 ฉบับของนักเรียนชั้นประถมศึกษาปีที่ 8 ในสหรัฐอเมริกา ตัวตรวจจับอ่านเรียงความของนักเรียนชั้นประถมศึกษาปีที่ 8 ได้ถูกต้องเกือบทุกครั้ง เมื่อเป็นเรียงความ TOEFL ซึ่งเขียนโดยผู้ใหญ่ที่มีความคล่องพอจะทำข้อสอบภาษาอังกฤษระดับบัณฑิตศึกษา ตัวตรวจจับให้ค่าอัตราผลบวกลวงเฉลี่ย 61.3 เปอร์เซ็นต์ เรียงความ 89 จาก 91 ฉบับถูกระบุว่า GPT เป็นผู้สร้างโดยตัวตรวจจับอย่างน้อยหนึ่งใน 7 รายการ และเรียงความ 18 ฉบับจากจำนวนนั้นถูกระบุโดยตัวตรวจจับทั้ง 7 รายการ

กลไกนี้เหมือนกับกลไกที่กำกับส่วนอื่น ๆ ของการตรวจจับ, คำศัพท์ที่คาดเดาได้และโครงสร้างประโยคที่เรียบง่ายถูกอ่านว่าเป็น perplexity ต่ำ, และ perplexity ต่ำถูกอ่านว่าเป็นงานที่สร้างโดยเครื่องจักร, ไม่ว่าใครจะเป็นผู้ถือปากกาอยู่ก็ตาม. ผู้เขียนที่ทำงานในภาษาที่สองมักพึ่งพาวลีที่ใช้กันอย่างมั่นคงเพราะนั่นคือสิ่งที่ความคล่องแคล่วในภาษาเพิ่มเติมมีลักษณะจริง ๆ, และนั่นคือโปรไฟล์ที่เครื่องตรวจจับถูกสร้างขึ้นมาเพื่อระบุว่าเป็นความเสี่ยง.

ผู้เขียนในสถานะเช่นนั้นไม่ได้รับประโยชน์มากนักจากคำแนะนำให้เพียงเขียนให้เป็นธรรมชาติมากขึ้น, เพราะความเป็นธรรมชาตินั่นเองที่ถูกตั้งธง. หน้า สำหรับผู้เขียนวิชาการ ESL ของ TextPulse อธิบายรูปแบบถ้อยคำที่อยู่เบื้องหลังความเสี่ยงนั้นอย่างละเอียดมากขึ้น, รวมถึงสิ่งที่เปลี่ยนรูปแบบเหล่านั้นโดยไม่เปลี่ยนความหมายของประโยค.

นี่ไม่ใช่กรณีที่เกิดขึ้นเพียงครั้งเดียว. ในเดือนธันวาคม 2025, มีการเผยแพร่ benchmark ใหม่, ซึ่งออกแบบมาโดยเฉพาะเพื่อประเมินอคติในเครื่องตรวจจับเหล่านี้. มันรวมตัวอย่างมากกว่า 200,000 รายการ ครอบคลุมประชากรหลายกลุ่มและหลายภาษา. แม้ว่าจะห่างจากการศึกษาครั้งแรกของ Stanford ไปสองปี และรวม model versions ที่แตกต่างกันจำนวนมากของเครื่องตรวจจับชุดเดียวกัน, benchmark นี้ก็ยังเผยให้เห็นว่าอคติต่อ English language learners ยังคงมีอยู่.

กรณีนี้ไม่เป็นเช่นนั้นสำหรับผู้ให้บริการทั้งหมด. เอกสารทางเทคนิคของ Pangram เองระบุว่า classifier ของมันไม่ได้มีอคติต่อผู้พูดภาษาอังกฤษที่ไม่ใช่เจ้าของภาษา. นักวิจัยของ Chicago Booth ไม่ได้ทดสอบข้ออ้างนี้อย่างอิสระ แต่ก็แสดงให้เห็นว่ารุ่นใหม่ของเครื่องตรวจจับกำลังถูกสร้างขึ้นโดยคำนึงถึงปัญหานี้ แทนที่จะเพิกเฉยต่อมัน.

หากคุณต้องการดูว่างานเขียนของคุณอยู่ตรงไหนก่อนที่ใครอื่นจะให้คะแนนมัน, free perplexity checker จะให้ตัวเลขพื้นฐานเดียวกันกับที่เครื่องตรวจจับจะคำนวณ, โดยไม่ต้องส่งอะไรไปยังสถาบันก่อน.

ใครอีกบ้างที่ถูกตั้งธง, และเพราะเหตุใด

ผู้ที่ไม่ได้ใช้ภาษาอังกฤษเป็นภาษาแม่มีความเสี่ยงที่ได้รับการบันทึกไว้สูงที่สุด แต่ตรรกะทางสถิติเดียวกันนี้ก็ตรวจจับงานเขียนประเภทอื่นได้เช่นกัน ทีมของ Weber-Wulff พบว่าเครื่องมือทั้ง 14 รายการที่พวกเขาทดสอบมีความแม่นยำน้อยลงเมื่อใช้กับข้อความที่ผ่านการถอดความแล้ว, ซึ่งสะท้อนถึงสัดส่วนที่มีนัยสำคัญของงานเขียนเชิงวิชาการที่ผ่านการตรวจแก้โดยผู้พิสูจน์อักษร, บรรณาธิการ, หรือการขีดแก้ด้วยปากกาสีแดงของอาจารย์ที่ปรึกษาก่อนที่ใครก็ตามจะนำไปตรวจจับ

ทั้งหมดนี้ไม่ได้หมายความว่าตัวเลขดังกล่าวไร้ความหมาย, เพียงแต่ต้องมีการยืนยันประกอบก่อนที่จะตีความว่าเกี่ยวข้องกับบุคคลใดบุคคลหนึ่งโดยเฉพาะ หากคุณมีข้อความที่อ่านได้อย่างสม่ำเสมอ, ความยาวประโยคคล้ายกัน, จังหวะการเขียนคล้ายกันตลอดทั้งข้อความ, ข้อความนั้นจะได้คะแนนว่าเหมือนงานที่สร้างโดยเครื่องจักรมากขึ้น ไม่ว่าผู้เขียนจะเป็นใครหรือเขียนด้วยเหตุผลใดก็ตาม เรื่องนี้สามารถตรวจสอบได้โดยตรงด้วย free burstiness checker แทนที่จะคาดเดา

กลุ่มที่สองซึ่งมีการกล่าวถึงน้อยกว่าก็เผชิญปัญหาที่เกี่ยวข้องกัน นักวิจัยเปรียบเทียบโพสต์ใน Reddit ประมาณ 60,000 โพสต์, แบ่งเป็นกลุ่มย่อยที่ระบุว่าอาจเขียนโดยผู้เขียนที่เป็นออทิสติก และกลุ่มตัวอย่างทั่วไป, แล้วนำทั้งสองกลุ่มไปตรวจด้วยตัวตรวจจับที่อิง GPT-2 ทั้งสองกลุ่มยังคงมีสัดส่วนที่ถูกระบุว่าเป็นปัญหาโดยรวมต่ำกว่า 2 เปอร์เซ็นต์, แต่กลุ่มย่อยที่อาจเป็นออทิสติกถูกระบุในอัตราที่สูงกว่ากลุ่มตัวอย่างทั่วไปอย่างมีนัยสำคัญ งานเขียนที่เอนเอียงไปทางถ้อยคำที่ตรงตัว, ซ้ำ, และมีรูปแบบแน่นอน, ซึ่งเป็นลักษณะที่ได้รับการบันทึกไว้ของรูปแบบการสื่อสารบางแบบของผู้ที่เป็นออทิสติก, จะสร้างข้อความที่มีความแปรผันต่ำอย่างที่ตัวตรวจจับถูกออกแบบมาเพื่อจับโดยตรง

เหตุใดคะแนนที่มั่นใจจึงไม่ใช่ข้อกล่าวหาที่มั่นใจ

อัตราบวกเท็จฟังดูเหมือนหมายถึงโอกาสที่นักศึกษาคนหนึ่งซึ่งถูกระบุว่าเป็นปัญหาจะเป็นผู้บริสุทธิ์ แต่ไม่ใช่ มันอธิบายว่าแบบทดสอบทำงานอย่างไรกับทุกคนที่ทำแบบทดสอบนั้น และนั่นเป็นคำถามคนละแบบที่มีคำตอบคนละแบบ เช่นเดียวกับการตรวจคัดกรองทุกชนิดในทางการแพทย์หรือความมั่นคง

การวิเคราะห์ทางสถิติในเดือนมีนาคม 2026 จากนักวิจัยของ Griffith University ทำให้คณิตศาสตร์ที่อยู่เบื้องหลังชัดเจนขึ้น หากมองการตรวจจับ AI เป็นการทดสอบที่ใช้กับประชากรของผู้เขียนนักศึกษา แทนที่จะเป็นเอกสารเพียงฉบับเดียวที่แยกออกมา จะเห็นการแลกเปลี่ยนกันเกิดขึ้น, เมื่อใดก็ตามที่บางส่วนของประชากรนั้นเขียนในลักษณะที่ทับซ้อนกับผลลัพธ์ทั่วไปของ AI อย่างเป็นธรรมชาติ, ใกล้กับแบบแผนของประเภทงาน, ใกล้กับช่วงความสามารถของผู้เรียนภาษาที่สอง, ตัวตรวจจับใดก็ตามที่มีพลังจริงในการจับงานที่ AI เขียนขึ้น จะต้องให้ผลผิดพลาดกับบางส่วนของกลุ่มที่ทับซ้อนนั้น นี่ไม่ใช่ข้ออ้างว่าตัวตรวจจับเฉพาะใดถูกสร้างมาไม่ดี แต่เป็นคุณสมบัติของการทดสอบประชากรที่หลากหลายด้วยเอกสารเพียงฉบับเดียวและไม่มีหลักฐานอื่น

ตัวอย่างประกอบในบทความเองแสดงให้เห็นขนาดของประเด็นนี้ สมมติว่า 10 เปอร์เซ็นต์ของประชากรนักศึกษาเขียนใกล้เคียงกับผลลัพธ์ทั่วไปของ AI มากพอ และตัวตรวจจับถูกปรับให้จับงานที่ AI เขียนจริงได้ 80 เปอร์เซ็นต์ จากนั้นคณิตศาสตร์กำหนดให้อัตราบวกเท็จเฉลี่ยต้องมีอย่างน้อย 7.5 เปอร์เซ็นต์ทั่วทั้งประชากรนั้น นั่นไม่ใช่ข้อบกพร่องด้านวิศวกรรมของตัวตรวจจับ, แต่เป็นผลโดยตรงจากระดับที่การเขียนของกลุ่มนั้นทับซ้อนกับสิ่งที่กำลังถูกตรวจจับในเชิงสถิติ

เมื่อขยายไปยังมหาวิทยาลัยที่มีนักศึกษา 10,000 คน ขอบล่างดังกล่าวเพียงอย่างเดียวก็ชี้ว่ามีธงผิดพลาดราว 750 รายการทั่วทั้งประชากร, ซึ่งเป็นผลทางคณิตศาสตร์จากการทดสอบประชากรที่หลากหลายเทียบกับเอกสารเพียงฉบับเดียวโดยไม่มีหลักฐานอื่นให้พิจารณา ผู้เขียนบทความระบุชัดว่าตัวเลขเฉพาะเหล่านี้เป็นเพียงตัวอย่างประกอบ ไม่ใช่ค่าที่วัดได้จากสถาบันจริง ตัวอย่างนี้แสดงให้เห็นรูปแบบของปัญหา มากกว่าจะเป็นการคาดการณ์เฉพาะสำหรับวิทยาเขตใดวิทยาเขตหนึ่ง

นโยบายการตรวจจับ AI ที่สามารถปกป้องได้มีลักษณะอย่างไร

Yale มีนโยบายอยู่แล้วซึ่งรายงานว่าจำกัดเครื่องมืออย่าง GPTZero ด้วยเหตุผลใกล้เคียงกับที่บทความนี้ได้อธิบายไว้, คือมีอัตราบวกเท็จที่บันทึกไว้ และมีอคติที่บันทึกไว้ต่อผู้เขียนภาษาอังกฤษที่ไม่ใช่เจ้าของภาษา ดังนั้นเรื่องนี้จึงไม่ใช่เรื่องของนักศึกษาคนหนึ่งที่โชคร้ายเท่าใดนัก แต่เป็นเรื่องของกฎที่มีอยู่แล้วซึ่งไม่ได้ถูกบังคับใช้ เมื่อมีนโยบายที่บังคับใช้ความแตกต่างระหว่างคะแนนกับคำตัดสินอย่างแท้จริง คะแนนก็จะกลายเป็นเพียงข้อมูลนำเข้าอย่างหนึ่ง แทนที่จะเป็นคำตัดสิน

• ให้ถือว่าคะแนนเป็นเพียงข้อมูลหนึ่ง ไม่ใช่ฐานเพียงอย่างเดียวสำหรับการวินิจฉัยการประพฤติมิชอบ
• เปิดเผยอัตรา false positive ที่เผยแพร่โดยเครื่องมือนี้แก่ผู้เรียนก่อนนำไปใช้กับพวกเขา
• ใช้ความระมัดระวังเป็นพิเศษกับงานที่ส่งสั้นและงานเขียนภาษาอังกฤษของผู้ที่ไม่ใช่เจ้าของภาษา ซึ่งทั้งสองอย่างเป็นจุดอ่อนที่มีการบันทึกไว้
• รับประกันช่องทางอุทธรณ์ที่ไม่ต้องพิสูจน์หักล้างสถิติ

ทั้งหมดนี้ไม่ใช่เรื่องแปลกประหลาด มันใกล้เคียงกับวิธีที่หลักฐานนิติวิทยาศาสตร์ชิ้นเดียวควรถูกปฏิบัติในบริบทอื่นใด, คือมีประโยชน์ ตรวจสอบได้ และไม่เพียงพอในตัวเอง

สำหรับผู้เขียนแต่ละคน หลักการเดียวกันนี้ใช้ได้ก่อนที่จะมีคะแนนปรากฏขึ้น ไม่ใช่หลังจากนั้น ตัวเลขเพียงตัวเดียวจากเครื่องมือใดก็ตามเป็นเพียงค่าประมาณ ไม่ใช่คำตัดสิน และการปฏิบัติต่อมันราวกับเป็นข้อยุติไม่ว่าทางใด, ปลอดภัยหรือถูกจับได้, เป็นการคาดหวังจากตัวเลขมากเกินกว่าที่มันจะรองรับได้

เครื่องมือ AI humanizer tool ของ TextPulse เองรายงาน Human Score ตามตรรกะเดียวกันนี้, คือค่าประมาณที่คำนวณจากข้อความของคุณเอง ไม่ใช่คำตัดสินของตัวตรวจจับต่อข้อความนั้น, มีประโยชน์ในฐานะสัญญาณว่าร่างข้อความในขณะนี้อ่านเป็นอย่างไร มากกว่าจะเป็นคำมั่นเกี่ยวกับสิ่งที่ตัวตรวจจับใด ๆ จะกล่าว

คำถามเรื่องความแม่นยำแยกออกเป็นคำถามที่แคบลง ซึ่งแต่ละคำถามมีหน้าของตนเอง หลักฐานเฉพาะเกี่ยวกับ อัตรา false positive ของ Turnitin และเกี่ยวกับ ความแม่นยำของ ZeroGPT ได้รับการอธิบายแยกต่างหาก หากคะแนนได้ถูกนำมาใช้กับคุณแล้ว ก็มีเนื้อหาที่เป็นประโยชน์เกี่ยวกับ สิ่งที่ควรทำเมื่อคุณถูกกล่าวหาว่าใช้ AI, เกี่ยวกับหลักฐานที่คุณสามารถรวบรวมเพื่อ พิสูจน์ว่าคุณไม่ได้ใช้ AI, และเกี่ยวกับ การเขียนจดหมายอุทธรณ์ ที่ตอบโต้คะแนนนั้นตามเงื่อนไขของมันเอง

ตัวเลขในรายงานใด ๆ จะยังคงเปลี่ยนไปเมื่อผู้ให้บริการฝึกโมเดลใหม่ และนักวิจัยยังคงทดสอบมันกับกรณีที่ยากขึ้น แต่สิ่งที่ไม่ควรเปลี่ยนคือพฤติกรรมที่อยู่เบื้องหลังมัน, คืออ่านคะแนนเป็นเพียงการวัดหนึ่งในหลายการวัด, ถามว่ามันได้รับการตรวจสอบความถูกต้องกับประชากรใด, และถามว่าผู้ให้บริการไม่ได้กล่าวอะไรเกี่ยวกับกรณีที่มันยังคงให้ผลผิดอยู่