อาจารย์สามารถบอกได้หรือไม่ว่าคุณใช้ ChatGPT?
ซอฟต์แวร์ตรวจจับมีความสำคัญน้อยกว่าที่นักศึกษาส่วนใหญ่คิด บทความนี้อธิบายสิ่งที่อาจารย์ซึ่งเคยอ่านงานของคุณมาก่อนสังเกตเห็นเมื่อร่างงานเริ่มไม่เหมือนคุณ ตั้งแต่การศึกษาปกปิดตัวตนระดับสำคัญของผู้ตรวจ ไปจนถึงสัญญาณเฉพาะที่ตรวจสอบได้ซึ่งปรากฏขึ้นก่อนที่ใครจะรันการสแกน
การทดสอบแบบปกปิดที่ University of Reading นำคำตอบจาก ChatGPT จำนวน 63 คำตอบไปใส่ในข้อสอบจิตวิทยาระดับปริญญาตรีจริง ปะปนอยู่กับงานส่งของนักศึกษาจริง 1,134 ชิ้น และให้ผู้ตรวจข้อสอบตามปกติประเมินทั้งหมดโดยไม่รู้ว่าอะไรเป็นอะไร ผลที่ตีพิมพ์ใน PLOS ONE เมื่อเดือนมิถุนายน 2024 คือ คำตอบจาก AI ร้อยละ 94 ไม่ถูกระบุเลย และโดยเฉลี่ยได้คะแนนสูงกว่าระดับเกรดของนักศึกษาจริงประมาณครึ่งช่วงเกรด โดยกระจุกอยู่ในช่วง 2:1 ถึง first class
อาจารย์บอกได้หรือไม่ว่าคุณใช้ ChatGPT? โดยมากแล้ว ไม่ได้, อย่างน้อยก็ไม่ใช่จากการอ่านแบบปกปิดเพียงครั้งเดียวโดยผู้ตรวจที่ไม่เคยเห็นงานเขียนของผู้เขียนมาก่อน การทดสอบอีกแบบคืออาจารย์ของคุณเอง, อาจารย์ที่ให้คะแนนเรียงความเฉพาะชิ้นของคุณมักจะเคยอ่านงานเขียนของคุณมาก่อน, เคยนั่งตรงข้ามคุณในสัมมนา, และเป็นผู้กำหนดข้อความเฉพาะที่ข้อโต้แย้งของคุณควรตอบสนอง ทั้งหมดนั้นไม่มีอยู่ในการศึกษาที่ Reading ซึ่งนั่นเองคือสิ่งที่ทำให้รายวิชาจริงแตกต่างจากต้นฉบับข้อสอบที่ส่งให้คนแปลกหน้าตรวจ
อาจารย์บอกได้หรือไม่ว่าคุณใช้ ChatGPT? เริ่มจากสิ่งที่พวกเขารู้อยู่แล้ว
ตัวบ่งชี้การเขียนด้วย AI ของ Turnitin คือซอฟต์แวร์ที่นักศึกษาส่วนใหญ่นึกถึงเมื่อคำถามนี้เกิดขึ้น และ สิ่งที่มันระบุและสิ่งที่มันมองข้าม เป็นเรื่องเฉพาะที่มีการบันทึกไว้แล้ว ไม่ใช่ปริศนาที่ควรคาดเดา อาจารย์ส่วนใหญ่ไม่ได้ทำงานโดยอาศัยเพียงเปอร์เซ็นต์บนแดชบอร์ดเป็นหลัก อย่างไรก็ตาม พวกเขาทำงานโดยอาศัยเอกสารที่สามารถวางเทียบกับแฟ้มเอกสารอื่นของคุณได้, โพสต์อภิปรายจากสัปดาห์ที่สาม, ฉบับร่างหยาบที่คุณส่งอีเมลพร้อมคำถามแนบไปด้วย, หรือคำถามแบบเรียกตอบที่คุณตอบติดขัดในสัมมนาเมื่อสองเดือนก่อน
ความรู้เชิงปฏิบัติของอาจารย์เกี่ยวกับงานเขียนของคุณ คือกลไกที่แท้จริงเบื้องหลังคำว่า 'professors can just tell.' มันมาจากตัวอย่างงานเขียนที่ใช้งานได้จริงของไวยากรณ์ของคุณ ข้อผิดพลาดที่คุณมักทำ ประเด็นที่คุณมักหยิบมาใช้ในการโต้แย้ง และระดับความเฉพาะเจาะจงที่คุณเขียนเมื่อไม่มีใครให้คะแนนความสละสลวยของคุณ การที่งานเขียนมีความประณีตเพิ่มขึ้นอย่างฉับพลันจึงโดดเด่นด้วยเหตุผลที่ชัดเจน, เพราะมันไม่สอดคล้องกับฐานเดิมนั้น ผู้ตรวจครั้งแรกในการศึกษาปกปิดตัวตนย่อมไม่มีฐานเดิมให้เปรียบเทียบตั้งแต่แรก
สิ่งที่การศึกษาปกปิดตัวตนของผู้ตรวจพบ และเหตุใดจึงไม่ใช่ภาพทั้งหมด
การศึกษาของ Reading ควรพิจารณาอย่างละเอียดอีกเล็กน้อย เพราะรายละเอียดใต้ตัวเลขพาดหัวมีประโยชน์กว่าตัวพาดหัวเอง มีเพียง 6.35 เปอร์เซ็นต์ของคำตอบจาก AI ที่ถูกระบุว่ามีข้อกังวลเกี่ยวกับการประพฤติผิดทางวิชาการในรูปแบบใดก็ตาม และมีเพียง 3.17 เปอร์เซ็นต์ที่ถูกระบุโดยเฉพาะว่าเขียนโดย AI ส่วนที่เหลือถูกทำเครื่องหมาย ให้คะแนน และส่งคืนเหมือนต้นฉบับอื่นใด นั่นเป็นคำถามคนละแบบกับ ผลบวกลวงและอคติในซอฟต์แวร์ตรวจจับ AI ที่ได้รับความสนใจมากกว่าในที่อื่น การศึกษานี้วัดความสามารถดิบของมนุษย์ในการแยกแยะ โดยไม่มีอัลกอริทึมเข้ามาเกี่ยวข้องทั้งสองฝ่าย
ทั้งหมดนี้ไม่ได้หมายความว่าผู้ตรวจหย่อนยาน แต่มันหมายความว่าการศึกษานี้ถูกสร้างขึ้นเพื่อทดสอบสิ่งที่เฉพาะเจาะจง, คือว่าผู้ตรวจที่เห็นงานเขียนชิ้นหนึ่งเป็นครั้งแรก โดยไม่มีข้อมูลอื่นเกี่ยวกับผู้เขียน จะสามารถแยกมันออกจากคำตอบของมนุษย์ต่อคำถามเดียวกันได้หรือไม่ นั่นใกล้เคียงกับรูปแบบที่ยากที่สุดของปัญหาการตรวจจับ และนักวิจัยออกแบบให้เป็นเช่นนั้นโดยตั้งใจ เมื่อการศึกษานี้เผยแพร่ Peter Scarfe แห่ง Reading กล่าวไว้ว่า 'our research shows it is of international importance to understand how AI will affect the integrity of educational assessments,' ซึ่งเป็นปัญหาระดับทั้งภาคส่วน มากกว่าจะเป็นความสนใจเฉพาะของภาควิชาใดภาควิชาหนึ่ง
ทำให้บทความของคุณเป็นธรรมชาติมากขึ้น
ปรับข้อความที่ช่วยโดย AI ของคุณให้ฟังดูเป็นธรรมชาติ, โดยไม่แตะต้องคำสำคัญหรือการอ้างอิง
สิ่งเฉพาะที่ทำให้ร่างงานถูกจับได้
หลักฐานสี่ประเภทมักปรากฏขึ้นก่อนที่ซอฟต์แวร์ใด ๆ จะเข้ามาเกี่ยวข้อง และไม่มีข้อใดต้องอาศัยการฝึกพิเศษจึงจะสังเกตเห็นได้ นั่นเป็นส่วนหนึ่งของเหตุผลที่อาจารย์ซึ่งคุ้นเคยกับงานของคุณอยู่แล้วสามารถจับได้โดยไม่ต้องเปิดตัวตรวจจับ
| สัญญาณ | ลักษณะที่ปรากฏในทางปฏิบัติ |
|---|---|
| การเปลี่ยนระดับภาษาในกลางเรียงความ | สองย่อหน้าแรกใช้เสียงของคุณตามปกติ แล้วตามด้วยย่อหน้าที่อ่านราวกับว่ามีนักเขียนอีกคนที่เป็นทางการกว่ามารับช่วงต่อ |
| แหล่งอ้างอิงที่โมดูลไม่เคยกำหนด | การอ้างถึงข้อความที่ไม่เคยปรากฏในรายการอ่านหรือถูกหยิบยกขึ้นในสัมมนา วางอยู่ข้างๆ แหล่งที่มีอยู่จริง |
| ข้อโต้แย้งที่ไม่มีร่องรอยจากสัมมนา | ข้อกล่าวอ้างที่ละเลยประเด็นโต้แย้งเฉพาะที่ชั้นเรียนใช้เวลายี่สิบนาทีอภิปรายกันในสัปดาห์ที่มอบหมายเรียงความ |
| ผลลัพธ์ที่ยังไม่ได้แก้ไขถูกทิ้งไว้ในข้อความ | คำสั่งที่หลงเหลืออยู่ วลีที่ซ้ำกัน หรือบรรทัดที่มีความหมายได้ก็เฉพาะในฐานะข้อความแชตที่เหลือค้างและไม่มีใครอ่านทวนก่อนส่ง |
ผลลัพธ์ AI ที่ยังไม่ได้แก้ไขและถูกทิ้งไว้ในร่างสุดท้าย ฟังดูเหมือนเป็นสัญญาณบ่งชี้ที่พบได้ไม่บ่อย จนกระทั่งคุณเห็นว่ามันเกิดขึ้นบ่อยเพียงใดภายใต้แรงกดดันด้านเวลา อาจารย์สอนประวัติศาสตร์ที่ Alcorn State University, Jason Gibson ได้ทดสอบเรื่องนี้โดยตรงในเดือนกรกฎาคม 2026 ด้วยการซ่อนคำสั่งด้วยตัวอักษรสีขาวไว้ในพรอมต์ข้อสอบของเขา ทำให้มองไม่เห็นบนหน้าเอกสาร, ให้ใส่คำว่า Madagascar ไว้ที่ใดที่หนึ่งในคำตอบในลักษณะที่ไม่มีความหมาย Thirty two จากนักศึกษาของเขา 35 คนทำเช่นนั้นจริง โดยสร้างประโยคอย่าง 'Madagascar floats sideways through the afternoon' ไว้ในคำตอบเกี่ยวกับการปฏิวัติอุตสาหกรรม
สำหรับกรณีนั้น ไม่มีใครต้องใช้ตัวตรวจจับ เขาบอกนักศึกษาว่าเขาพบอะไร และเปิดโอกาสให้โต้แย้งเกรดของตน, มีสองคนที่โต้แย้ง และหนึ่งคนประสบความสำเร็จ เพราะได้อ่านบรรทัดที่ซ่อนอยู่ เนื่องจากโหมดมืดบนหน้าจอของเธอทำให้ข้อความสีขาวมองเห็นได้ การจับผลลัพธ์ AI ที่ยังไม่ได้แก้ไขแทบไม่ต้องใช้ซอฟต์แวร์นิติพิสูจน์ โดยทั่วไปแล้ว เพียงแค่มีใครสักคนอ่านคำตอบ
ร้อยแก้วที่มั่นใจเกี่ยวกับข้อความที่ไม่มีใครอ่านจริง
บางครั้งสิ่งที่บ่งชี้ชัดคือการอ้างอิงที่ไม่มีอยู่จริงเลย งานวิจัยปี 2024 ใน The American Economist ทดสอบ GPT-3.5 และ GPT-4 ด้วยพรอมป์ที่คัดมาจาก Journal of Economic Literature และพบว่ามากกว่า 30 เปอร์เซ็นต์ของการอ้างอิงที่ GPT-3.5 สร้างขึ้นเป็นสิ่งที่แต่งขึ้นทั้งหมด โดยอัตราดังกล่าวใน GPT-4 ดีขึ้นเพียงเล็กน้อยเท่านั้น โมเดลไม่ได้ค้นหาอะไรเลยเมื่อเขียนการอ้างอิง แต่กำลังสร้างชื่อผู้แต่ง ชื่อเรื่อง และปีที่ดูน่าเชื่อถือขึ้นมา เพราะรูปแบบเหล่านั้นปรากฏร่วมกันในข้อมูลฝึกของมัน ไม่ใช่เพราะมีแหล่งข้อมูลที่ตรงกันอยู่จริง
บางครั้งแหล่งข้อมูลนั้นมีอยู่จริง แต่ไม่อาจอธิบายได้จากหลักสูตร ซึ่งใกล้เคียงกับกรณีแรก ๆ ที่มีการบันทึกไว้อย่างชัดเจนที่ University of Bolton ผู้ตรวจสอบที่พิจารณาบทความว่าด้วยทฤษฎีภาวะผู้นำพบว่าสไตล์การเขียนเปลี่ยนไปในแต่ละส่วน ข้อความบางตอนไม่เชื่อมโยงกันอย่างมีตรรกะ และรายการแหล่งข้อมูลถูกสร้างจากเพียงสองวารสารที่เข้าถึงได้ผ่านระบบ Moodle ของรายวิชาเอง โดยไม่มีอะไรจากรายการอ่านที่กำหนด
การอ้างอิงหนึ่งรายการชี้ไปยังบทความปี 2022 ที่มีอยู่จริงแต่แทบไม่มีใครรู้จักอย่างน่าประหลาด ซึ่งนำ Harry Potter มาใช้กับทฤษฎีภาวะผู้นำ นี่เป็นแหล่งข้อมูลประเภทที่นักศึกษาซึ่งทำงานจากหลักสูตรไม่น่าจะไปพบได้โดยบังเอิญ ที่จริงแล้วบทความนั้นถูกซื้อจากบริการเขียนของบุคคลที่สาม และการสอบสวนของมหาวิทยาลัยสรุปว่ามีการใช้ ChatGPT ในบางส่วน นักศึกษาจึงสอบตกงานชิ้นนั้นและต้องสอบซ่อม สิ่งที่ทำให้เรื่องนี้ถูกจับได้ในที่สุดคือผู้ตรวจให้คะแนนคนหนึ่งที่รู้ว่ารายวิชานั้นกำหนดให้อ่านอะไรจริง ๆ และสังเกตได้ว่าบทความนั้นไม่ได้สร้างขึ้นจากสิ่งเหล่านั้น
สิ่งนี้ไม่ได้หมายความว่าอะไร และนิสัยที่ควรสร้างแทน
ทั้งหมดนี้ไม่ได้หมายความว่าความไม่สอดคล้องทุกกรณีจะทำให้คุณถูกกล่าวหา และไม่ได้หมายความว่างานเขียนที่เรียบเรียงอย่างดีมีความเสี่ยงโดยเนื้อแท้ อาจารย์อ่านเพื่อดูรูปแบบที่ปรากฏตลอดทั้งงานส่ง ไม่ใช่ประโยคที่น่าสงสัยเพียงประโยคเดียว และกระบวนการที่ตามมาหลังจากมีข้อกังวลที่แท้จริงก็เป็นไปตามกฎของมันเองเกี่ยวกับหลักฐานและการสนทนาก่อนที่สิ่งใดจะกลายเป็นทางการ
นิสัยที่มีประโยชน์มากกว่า ไม่ว่ากรณีใด ๆ ก็คือการตรวจร่างของตนเองเพื่อดูว่ามีการเลื่อนระดับภาษาแบบที่ผู้อ่านจะสังเกตเห็นอย่างตรงจุดหรือไม่ ก่อนส่งงาน ไม่ใช่หลังจากที่คนอื่นสังเกตเห็นแล้ว free formality checker จะระบุย่อหน้าที่เลื่อนออกจากระดับภาษาปกติของคุณเอง ซึ่งเป็นการเปลี่ยนแปลงแบบเดียวกับที่อาจารย์จะสังเกตได้ด้วยตาเปล่า นั่นคือพฤติกรรมการพิสูจน์อักษร ไม่ใช่กลอุบาย และใช้ได้ไม่ว่าร่างนั้นจะเคยแตะต้องแชตบอตสักคำหรือไม่ก็ตาม
คำถามในรูปแบบที่ตรงไปตรงมามากกว่า, will I get caught using ChatGPT, มีคำตอบแยกต่างหาก เช่นเดียวกับคำถามที่แคบกว่าว่า whether Turnitin detects paraphrased text ซึ่งเป็นจุดที่นักศึกษาส่วนใหญ่ติดขัดจริง ๆ
AI humanizer for students ของ TextPulse ใช้แนวคิดพื้นฐานเดียวกัน, คือรายงาน Human Score โดยประมาณที่สร้างจากรูปแบบทางสถิติของงานเขียนของคุณเอง ไม่ใช่การอ้างว่าโปรแกรมของอาจารย์คนใดคนหนึ่งจะกล่าวอย่างไร เพราะไม่มีเครื่องมือใดสามารถให้คำมั่นสัญญาเช่นนั้นอย่างรับผิดชอบเกี่ยวกับระบบที่ตนไม่ได้ควบคุมได้ เมื่อใช้กับร่างของคุณเองก่อนส่งงาน มันทำหน้าที่เป็นการอ่านงานของคุณอีกครั้งอย่างเป็นกลางและไม่ฝักใฝ่ฝ่ายใด มากกว่าจะเป็นวิธีโต้แย้งกับใครภายหลัง ยิ่งเรียงความอ่านได้เฉพาะเจาะจงและเป็นของคุณจริง ๆ ในแต่ละบรรทัดมากเท่าไร เรื่องทั้งหมดนี้ก็ยิ่งไม่จำเป็นต้องถูกหยิบยกขึ้นมามากเท่านั้น
คำถามที่พบบ่อย
บ่อยครั้ง แต่แทบไม่ใช่จากซอฟต์แวร์เพียงอย่างเดียว อาจารย์สามารถบอกได้หรือไม่ว่าคุณใช้ ChatGPT? งานวิจัยของมหาวิทยาลัยเกี่ยวกับการให้คะแนนแบบปกปิดตัวตนชี้ว่า ผู้ตรวจที่ไม่รู้จักผู้เขียนและตรวจข้อสอบเพียงฉบับเดียวมักบอกไม่ได้, การศึกษาหนึ่งในปี 2024 พบว่าผู้ตรวจพลาดคำตอบข้อสอบที่เขียนโดย AI ถึง 94 เปอร์เซ็นต์ โดยทั่วไปอาจารย์ที่สอนคุณเองมักมีข้อมูลมากกว่า รวมถึงงานเขียนก่อนหน้าของคุณและเนื้อหาเฉพาะที่รายวิชานั้นสอนจริง ซึ่งเป็นสิ่งที่กรณีจริงส่วนใหญ่อาศัยตัดสิน
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.
