เหตุใดตัวตรวจจับ AI จึงมีอคติต่อผู้เขียนภาษาอังกฤษที่ไม่ใช่เจ้าของภาษา

ตัวตรวจจับ AI ที่มีอคติต่อผู้พูดที่ไม่ใช่เจ้าของภาษา ไม่ใช่ข้อร้องเรียนเชิงอัตวิสัย การศึกษาของ Stanford ที่ผ่านการทบทวนโดยผู้ทรงคุณวุฒิในปี 2023 วัดเรื่องนี้โดยตรง นักวิจัยนำตัวตรวจจับ GPT ที่ใช้กันอย่างแพร่หลาย 7 ตัวมาทดสอบกับเรียงความ TOEFL จริง 91 ฉบับที่เขียนโดยผู้พูดภาษาอังกฤษที่ไม่ใช่เจ้าของภาษา และเรียงความ 88 ฉบับที่เขียนโดยนักเรียนชั้นประถมศึกษาปีที่ 8 ในสหรัฐอเมริกา จากนั้นจึงเปรียบเทียบว่ากลุ่มแต่ละกลุ่มได้คะแนนอย่างไร

ตัวตรวจจับอ่านเรียงความของนักเรียนชั้นประถมศึกษาปีที่ 8 ได้ถูกต้องเกือบทุกครั้ง สำหรับเรียงความ TOEFL ซึ่งเขียนโดยผู้ใหญ่ที่ได้ผ่านการสอบวัดความสามารถภาษาอังกฤษระดับบัณฑิตศึกษาแล้ว ตัวตรวจจับทั้ง 7 เครื่องมือให้ค่าอัตราบวกลวงเฉลี่ย 61.22 เปอร์เซ็นต์ เรียงความ 89 จาก 91 ฉบับ คิดเป็นเกือบ 98 เปอร์เซ็นต์ ถูกระบุว่าเป็นข้อความที่สร้างโดย AI โดยอย่างน้อยหนึ่งใน 7 เครื่องมือ

ภาพรวมของ TextPulse เกี่ยวกับ หลักฐานที่กว้างขึ้นเกี่ยวกับความแม่นยำของตัวตรวจจับ AI ครอบคลุมข้อค้นพบสำคัญนั้นและคดีความที่ตามมาภายหลัง สิ่งที่แทบทุกแห่งละเว้นเมื่ออ้างถึงการศึกษานี้คือกลไก, เหตุใดร้อยแก้วของผู้พูดภาษาอังกฤษระดับบัณฑิตศึกษาจึงอ่านเหมือนงานที่สร้างโดยเครื่องตั้งแต่แรก และอะไรเปลี่ยนไปเมื่อมันหยุดอ่านเช่นนั้น

ตัวตรวจจับ AI ที่มีอคติต่อผู้พูดที่ไม่ใช่เจ้าของภาษา, กลไก

ตัวตรวจจับไม่เคยอ่านเพื่อจับความหมาย มันอ่านว่าคำแต่ละคำคาดเดาได้มากเพียงใด เมื่อพิจารณาจากคำก่อนหน้า และจะให้คะแนนข้อความต่ำเมื่อแบบจำลองสามารถคาดเดาส่วนใหญ่ของมันได้ล่วงหน้า ความหลากหลายของคำศัพท์, คือขอบเขตของคำศัพท์ที่ผู้เขียนใช้แทนที่จะใช้คำชุดเล็กที่ปลอดภัยซ้ำ ๆ, และความคาดเดาได้ของโครงสร้างวากยสัมพันธ์, คือระดับที่โครงสร้างประโยคเป็นไปตามแบบแผนที่พบบ่อยที่สุดของภาษาแทนที่จะเปลี่ยนแปลงไป, เป็นคุณสมบัติสองประการของการผลิตภาษา ที่ทำให้คะแนนนั้นลดลง

ความแตกต่างนี้มีความสำคัญ เพราะทั้งสองอย่างปรากฏบนหน้ากระดาษต่างกัน ความหลากหลายทางคำศัพท์เกี่ยวข้องกับตัวคำเอง, ผู้เขียนที่เลือกใช้คำว่า 'obtain,' 'acquire,' และ 'secure' ในสามประโยคที่ต่างกัน ย่อมอ่านดูมีความหลากหลายมากกว่าผู้ที่ใช้คำว่า 'get' สามครั้ง แม้ว่าประโยคจะเหมือนกันในด้านอื่นก็ตาม ความคาดเดาได้ของโครงสร้างประโยคเกี่ยวข้องกับโครงสร้าง, คือ ประธาน กริยา กรรม ที่ถูกใช้ซ้ำแล้วซ้ำอีก แทนที่จะเป็นประโยคที่ขึ้นต้นด้วยอนุประโยคหรือจบลงด้วยคำที่ไม่คาดคิด ผู้เขียนที่ใช้ภาษาที่สองภายใต้เงื่อนไขการสอบย่อมมีเหตุผลทุกประการที่จะเลือกใช้รูปแบบที่ปลอดภัยกว่าของทั้งสองอย่าง

งานเขียนในภาษาที่สองแสดงลักษณะของทั้งสองอย่างน้อยกว่าอย่างสม่ำเสมอ และไม่ใช่ในฐานะข้อบกพร่อง ผู้เขียนที่ทำงานในภาษาเพิ่มเติมจะพึ่งพาคำศัพท์และรูปแบบประโยคที่มีแนวโน้มจะถูกต้องมากที่สุด เพราะการเดาผิดมีต้นทุนสูงกว่าเมื่อภาษานั้นยังไม่เป็นอัตโนมัติเต็มที่ บทความของ Stanford ที่บันทึกอคติของตัวตรวจจับได้อ้างถึงงานวิจัยด้านภาษาศาสตร์ประยุกต์จำนวนหนึ่งเกี่ยวกับรูปแบบนี้โดยตรง ซึ่งได้รับการยืนยันมานานก่อนที่ตัวตรวจจับ AI จะมีอยู่จริง, ความมั่งคั่งทางคำศัพท์ที่ลดลง, ความหลากหลายทางคำศัพท์ที่ลดลง, และโครงสร้างประโยคที่เรียบง่ายกว่า เป็นลักษณะที่บันทึกได้และวัดได้ของงานเขียนในภาษาที่สอง มากกว่าจะเป็นสัญญาณของสิ่งอื่นใด

ช่องว่างระหว่างงานเขียนของเจ้าของภาษาและผู้ที่ไม่ใช่เจ้าของภาษาปรากฏเป็นความแตกต่างของ perplexity, ซึ่งเป็นการวัดเดียวกับที่ตัวตรวจจับใช้เพื่อพิจารณาว่าข้อความตอนหนึ่งสร้างโดยเครื่องหรือไม่ ค่า perplexity ที่ต่ำกว่าจะอ่านดูคล้ายเครื่องมากกว่า ไม่ว่าใครจะเป็นผู้ผลิตข้อความนั้น และงานเขียนในภาษาที่สองก็มักอยู่ต่ำกว่าบนสเกลนั้นด้วยเหตุผลที่ไม่เกี่ยวข้องกับ chatbot เลย ว่าช่องว่างนั้นเป็นสิ่งที่ขับเคลื่อนตัวตรวจจับจริงหรือไม่ แทนที่จะเป็นเพียงความบังเอิญ เป็นคำถามที่ทดสอบได้ ทีม Stanford ได้ทดสอบมันโดยตรง

เกิดอะไรขึ้นเมื่อเรียงความชุดเดียวกันถูกเขียนใหม่ด้วยคำศัพท์ที่หลากหลายกว่า

นักวิจัยได้นำเรียงความ TOEFL จำนวน 91 ชิ้นเดิมที่เคยก่อให้เกิดอัตราบวกลวงเฉลี่ย 61.22 เปอร์เซ็นต์ แล้วขอให้ ChatGPT ปรับแก้โดยใช้คำสั่งเพียงข้อเดียว, "ปรับปรุงการเลือกใช้คำให้ฟังดูเหมือนเจ้าของภาษาให้มากขึ้น" ไม่มีการสั่งให้เปลี่ยนแปลงเนื้อหา, ข้อโต้แย้ง หรือไวยากรณ์ หลังจากการแก้ไขเพียงครั้งนั้น อัตราบวกลวงเฉลี่ยของตัวตรวจจับทั้งเจ็ดชุดเดียวกันลดลงเหลือ 11.77 เปอร์เซ็นต์, ลดลงเกือบห้าสิบจุดเปอร์เซ็นต์ และจำนวนเรียงความที่ตัวตรวจจับทุกตัวระบุพร้อมกันลดลงจากสิบแปดเหลือหนึ่ง

จากนั้นนักวิจัยได้ทำการทดลองย้อนกลับ พวกเขานำเรียงความของนักเรียนชั้นประถมศึกษาปีที่ 8 ที่เป็นเจ้าของภาษา จำนวน 88 ชิ้น ซึ่งเดิมตัวตรวจจับให้คะแนนถูกต้องเกือบทุกครั้ง แล้วขอให้ ChatGPT ทำให้การเลือกใช้คำของเรียงความเหล่านั้นง่ายลงราวกับเขียนโดยผู้ที่ไม่ใช่เจ้าของภาษา อัตราบวกลวงเฉลี่ยของเรียงความที่เขียนโดยเจ้าของภาษาเหล่านั้นพุ่งจาก 5.19 เปอร์เซ็นต์เป็น 56.65 เปอร์เซ็นต์ เรียงความไม่ได้เปลี่ยนผู้ประพันธ์ มีเพียงคำศัพท์ที่เปลี่ยนไป และตัวตรวจจับก็ทำตามคำศัพท์นั้น

Perplexity เคลื่อนไหวสอดคล้องกับอัตราการจำแนกผิดในทั้งสองทิศทาง, มันเพิ่มขึ้นอย่างรวดเร็วเมื่อเรียงความ TOEFL ถูกทำให้มีคำศัพท์ซับซ้อนขึ้น และลดลงอย่างรวดเร็วเมื่อเรียงความชั้นประถมศึกษาปีที่ 8 ถูกทำให้ง่ายลง ผู้เขียนสรุปอย่างตรงไปตรงมาจากเรื่องนี้ว่า, สิ่งที่ตัวตรวจจับตอบสนองจริง ๆ ไม่เคยเป็นผู้ประพันธ์ แต่เป็นการเลือกใช้คำ, ซึ่งเป็นคุณลักษณะที่คำศัพท์ของผู้เขียนคนใดก็สามารถมีได้ ไม่ว่าพวกเขาจะเรียนภาษาอังกฤษที่ใดก็ตาม

อคติมีความสม่ำเสมอเพียงใดระหว่างตัวตรวจจับที่แตกต่างกัน

ตัวตรวจจับทั้งเจ็ดไม่ค่อยเห็นพ้องกันในหลายเรื่อง ยกเว้นทิศทางที่ความผิดพลาดเกิดขึ้น ทุกตัวระบุเรียงความ TOEFL บ่อยกว่าเรียงความชั้นประถมศึกษาปีที่ 8 อย่างมาก แต่ด้วยขอบเขตที่แตกต่างกันมาก

ตัวตรวจจับ	อัตราบวกปลอม, บทความ TOEFL	อัตราบวกปลอม, บทความของเจ้าของภาษา
Originality.ai	76%	1%
Quil.org	75%	9%
Sapling	68%	5%
OpenAI's detector	58%	9%
Crossplag	52%	12%
GPTZero	52%	0%
ZeroGPT	48%	0%

ตัวเลขเหล่านี้เป็นข้อมูลจากปี 2023 ซึ่งวัดจากเครื่องมือในสภาพที่เป็นอยู่ในขณะนั้น หลายเครื่องมือได้เปลี่ยนแปลงไปอย่างสิ้นเชิงตั้งแต่นั้นมา, OpenAI ได้ปิดตัวตรวจจับของตนเองในเดือนกรกฎาคม 2023, สี่เดือนหลังการทดสอบนี้, หลังจากพบว่ามันระบุข้อความที่เขียนโดย AI ได้ถูกต้องเพียง 26 เปอร์เซ็นต์ของข้อความจริง ขณะเดียวกันยังคงติดป้ายข้อความที่มนุษย์เขียนผิด 9 เปอร์เซ็นต์ สิ่งที่ไม่เปลี่ยนแปลงคือทิศทางของช่องว่างดังกล่าว เกณฑ์มาตรฐานอคติที่กว้างกว่านั้นซึ่งสร้างขึ้นโดยเฉพาะเพื่อทดสอบตัวตรวจจับในหมวดหมู่ด้านประชากรและภาษา, เผยแพร่ในเดือนธันวาคม 2025 และนำไปใช้กับเครื่องมือโอเพนซอร์สรุ่นใหม่ 4 รายการ, ยังคงรายงานว่า recall ของกลุ่มผู้เขียนที่มีตัวแทนไม่เพียงพอต่ำกว่าอย่างสม่ำเสมอ

อคตินี้ยังปรากฏในตัวตรวจจับรุ่นใหม่อยู่หรือไม่?

การศึกษาของ Stanford ในปัจจุบันมีอายุเก่าหลายเจเนอเรชันของ AI แล้ว และผู้เขียนเองก็ระบุข้อจำกัดไว้ว่าเป็นตัวอย่างนำร่องขนาดเล็ก และตัวตรวจจับส่วนใหญ่สร้างบน GPT-2 ซึ่งเป็นโมเดลที่เล็กกว่าและเก่ากว่ามากเมื่อเทียบกับสิ่งที่ขับเคลื่อนการตรวจจับในปัจจุบัน นั่นทำให้เกิดคำถามที่สมเหตุสมผลขึ้นมาว่า เทคโนโลยีที่ดีกว่าช่วยลดช่องว่างนี้ได้หรือไม่?

การทดสอบเฉพาะทางล่าสุดระบุว่ายังไม่ใช่ ในการศึกษาเมื่อเดือนกุมภาพันธ์ 2026 จาก Sultan Qaboos University นักวิจัยได้ทดสอบตัวตรวจจับเชิงพาณิชย์ที่ใช้อยู่ในปัจจุบัน 2 รายการ คือ Turnitin และ Originality กับข้อความ 192 ชิ้นที่ผสมผสานงานเขียนของนักศึกษา EFL ก่อนยุค ChatGPT ที่เป็นของแท้ งานเขียนของมนุษย์ระดับมืออาชีพ ข้อความที่สร้างโดย AI และข้อความแบบผสมระหว่างมนุษย์กับ AI ผลการศึกษาพบความแม่นยำโดยรวมที่ 69 เปอร์เซ็นต์ และ 61 เปอร์เซ็นต์สำหรับเครื่องมือทั้งสอง โดยความแม่นยำในหมวดแบบผสม ซึ่งเป็นลักษณะของงานเขียนที่เกิดขึ้นจริงจากการผ่านการแก้ไข ลดลงใกล้ศูนย์ การศึกษาเดียวกันยังเผยให้เห็นอคติอีกประการที่เกิดควบคู่ไปกับอคติด้านภาษา นั่นคือ ความแม่นยำในงานเขียนเชิงวิทยาศาสตร์ต่ำกว่างานเขียนด้านมนุษยศาสตร์ 28 ถึง 38 จุดเปอร์เซ็นต์

ข้อค้นพบทั้งสองไม่ได้เกี่ยวกับผลิตภัณฑ์ที่มีข้อบกพร่องเพียงรายการเดียว สถาปัตยกรรมของตัวตรวจจับ 2 แบบที่แตกต่างกัน ซึ่งทดสอบห่างกัน 3 ปี บนคลังข้อมูลคนละชุดโดยทีมวิจัยคนละทีม ยังคงให้ผลลัพธ์เดียวกัน คือ งานเขียนที่ถูกกำหนดรูปแบบโดยขนบของประเภทงานเขียน หรือโดยภาษาที่สอง มีแนวโน้มเข้าใกล้สิ่งที่เครื่องมือเหล่านี้เรียกว่าเป็นงานที่สร้างโดยเครื่องจักรมากกว่างานเขียนที่ไม่เป็นเช่นนั้น TextPulse's free tools ช่วยให้นักเขียนตรวจสอบลักษณะทางสถิติแบบเดียวกันนี้ได้ก่อนที่ข้อความใด ๆ จะไปถึงตัวตรวจจับของสถาบัน

หลักฐานอิสระที่แสดงว่าช่องว่างนี้เป็นจริง ไม่ใช่สิ่งที่เกิดจากการทดสอบ

ปัญหาแรกของผลลัพธ์ TOEFL คืออาจโต้แย้งได้ว่ามันใช้ได้เฉพาะกับการศึกษานำร่องเล็ก ๆ ในปี 2023 เท่านั้น คำถามนี้ได้รับคำตอบจากทีมวิจัยเดียวกันในการศึกษาอีกชิ้นที่ใช้ข้อมูลซึ่งไม่เกี่ยวข้องกับตัวตรวจจับเลย พวกเขาตรวจสอบบทความ 1,574 ชิ้นที่ได้รับการยอมรับให้ตีพิมพ์ใน ICLR 2023 ซึ่งเป็นการประชุมด้าน machine learning ขนาดใหญ่ โดยจำกัดตัวอย่างไว้ที่บทคัดย่อที่ส่งและผ่านการประเมินก่อนที่ ChatGPT จะมีอยู่

ผู้เขียนที่อยู่ในประเทศซึ่งภาษาอังกฤษไม่ใช่ภาษาหลักได้เขียนบทคัดย่อที่มี perplexity ต่ำกว่าอย่างมีนัยสำคัญเมื่อเทียบกับผู้เขียนที่อยู่ในประเทศที่ใช้ภาษาอังกฤษเป็นภาษาแม่ และความแตกต่างนี้ยังคงอยู่แม้จะควบคุมว่าบทความแต่ละชิ้นได้รับการประเมินจากผู้ประเมินในระดับสูงเพียงใด ตัวอย่างนี้ไม่อาจถูกกำหนดรูปแบบโดยใครก็ตามที่พยายามทำให้ดูเหมือนหรือไม่เหมือนแชตบอตมากขึ้นหรือน้อยลง ChatGPT เหลือเวลาอีกสามเดือนก่อนการเผยแพร่เมื่อช่วงเวลารับส่งบทความปิดลง ช่องว่างของ perplexity ระหว่างงานเขียนทางวิชาการของเจ้าของภาษาและผู้ที่ไม่ใช่เจ้าของภาษาไม่ใช่สิ่งที่ตัวตรวจจับประดิษฐ์ขึ้น แต่เป็นสิ่งที่พวกมันรับช่วงต่อมา

การวิเคราะห์เชิงสถิติในปี 2026 ของการตรวจจับ AI ในฐานะปัญหาการทดสอบ เสนอข้อสรุปเดียวกันในรูปแบบที่เป็นทางการมากขึ้น เมื่อใดก็ตามที่กลุ่มผู้เขียนกลุ่มหนึ่งผลิตภาษาที่โดยรวมแล้วทับซ้อนกับผลลัพธ์ทั่วไปของ AI ตัวตรวจจับใดก็ตามที่มีประสิทธิภาพจริงในการจับข้อความที่เขียนโดย AI จะต้องมีอัตราบวกลวงที่สูงกว่าสำหรับกลุ่มนั้นโดยเฉพาะ ซึ่งเป็นคุณสมบัติทางคณิตศาสตร์ของการทดสอบประชากรที่หลากหลาย มากกว่าจะเป็นข้อบกพร่องของเครื่องมือใดเครื่องมือหนึ่ง ผู้เขียนภาษาอังกฤษที่ไม่ใช่เจ้าของภาษาเป็นกรณีที่ชัดเจนที่สุดที่มีการบันทึกไว้ของการทับซ้อนเช่นนั้น

สิ่งนี้หมายความว่าอย่างไรสำหรับผู้เขียนที่ใช้ภาษาที่สอง

ทั้งหมดนี้ไม่ใช่ข้อโต้แย้งให้เขียนให้เหมือนตัวเองน้อยลง แต่เป็นเหตุผลให้รู้ว่าสิ่งที่กำลังถูกวัดจริง ๆ คืออะไร ก่อนที่คะแนนจะปรากฏขึ้น ตัวตรวจจับที่อ่านงานเขียนของคุณว่าเป็นสิ่งที่คาดเดาได้ กำลังจับคุณสมบัติทางสถิติที่แท้จริงของงานเขียนในภาษาที่สอง ไม่ใช่หลักฐานว่าคุณใช้เครื่องมือที่คุณไม่ได้ใช้

นักวิจัยจาก Stanford ที่ดำเนินการศึกษาต้นฉบับระบุถึงนัยที่ไม่สบายใจจากข้อค้นพบของตนเองว่า การปรับคำศัพท์แบบเดียวกันที่ลดความเสี่ยงของบวกลวง ก็เป็นชนิดของการแก้ไขที่ผู้เขียนอาจต้องการด้วยเหตุผลอื่นโดยสิ้นเชิง คือถ้อยคำที่ชัดเจนขึ้น คำที่แม่นยำขึ้น โดยไม่ขึ้นกับตัวตรวจจับใด ๆ หน้า สำหรับผู้เขียนวิชาการ ESL ของ TextPulse อธิบายว่าการแก้ไขลักษณะนั้นมีหน้าตาอย่างไรในประโยคจริง แยกออกจากทุกสิ่งที่เกี่ยวข้องกับคะแนนการตรวจจับ

เครื่องมือตรวจจับรุ่นใหม่เริ่มคำนึงถึงรูปแบบนี้อย่างชัดเจนมากขึ้น Pangram ซึ่งเป็นหนึ่งในผู้เข้ามาใหม่เชิงพาณิชย์ที่ค่อนข้างใหม่ ระบุไว้ในเอกสารทางเทคนิคของตนเองว่าตัวจำแนกของตนไม่ได้มีอคติต่อผู้เขียนภาษาอังกฤษที่ไม่ใช่เจ้าของภาษา แม้ว่าข้ออ้างดังกล่าวจะมาจากผู้ขายเอง ไม่ใช่จากการทดสอบอิสระก็ตาม free perplexity checker แสดงการวัดพื้นฐานเดียวกันที่เครื่องมือเหล่านี้ใด ๆ คำนวณจากชิ้นงานเขียน โดยไม่ส่งร่างไปที่ใดก่อน

มีคู่ประกอบเชิงปฏิบัติสองรายการอยู่ในกลุ่มเดียวกัน ได้แก่ when to use a, an and the ซึ่งเป็นแหล่งที่มาที่พบบ่อยที่สุดเพียงหนึ่งเดียวของรูปแบบนี้ และ how to sound natural in English academic writing ในความหมายที่กว้างกว่านั้น

งานวิจัยยังคงสะสมไปในทิศทางเดียวกันเมื่อเวลาผ่านไป 2 ปี ครอบคลุมทีมวิจัยที่แตกต่างกัน เครื่องมือตรวจจับที่แตกต่างกัน และการออกแบบการทดสอบที่แตกต่างกัน สิ่งที่ยังไม่ก้าวทันคือการตอบสนองของสถาบันที่ได้รับการยอมรับอย่างกว้างขวาง, การตรวจสอบเครื่องมือตรวจจับกับผู้เขียนหลากหลายกลุ่มก่อนที่จะเชื่อถือมันกับผู้เขียนคนใดคนหนึ่ง แทนที่จะทำหลังจากนักศึกษาคนใดคนหนึ่งถูกกล่าวหาไปแล้ว เมื่อใดก็ตามที่สิ่งนี้ยังไม่กลายเป็นเรื่องปกติ ภาระในการพิสูจน์ว่าการแจ้งผลผิดนั้นผิด ตกอยู่กับผู้เขียนกลุ่มเดียวกับที่งานวิจัยนี้ระบุว่ามีแนวโน้มสูงที่สุดที่จะได้รับการแจ้งเช่นนั้น