อาจารย์สามารถบอกได้หรือไม่ว่าคุณใช้ ChatGPT?
ซอฟต์แวร์ตรวจจับมีความสำคัญน้อยกว่าที่นักศึกษาส่วนใหญ่คิด บทความนี้อธิบายว่าอาจารย์ที่เคยอ่านงานของคุณมาก่อนสังเกตเห็นอะไรเมื่อร่างงานเริ่มไม่เหมือนคุณ ตั้งแต่การศึกษาปกปิดตัวตนแบบสำคัญของผู้ประเมิน ไปจนถึงสัญญาณเฉพาะที่ตรวจสอบได้ซึ่งปรากฏขึ้นก่อนที่ใครจะรันการสแกน
การทดสอบแบบปกปิดที่ University of Reading นำคำตอบจาก ChatGPT จำนวน 63 ชุดไปใส่ในข้อสอบจิตวิทยาระดับปริญญาตรีจริง ปะปนอยู่กับงานส่งของนักศึกษาจริง 1,134 ชิ้น และให้ผู้ตรวจข้อสอบตามปกติประเมินทั้งหมดโดยไม่รู้ว่าอะไรเป็นอะไร ผลที่ตีพิมพ์ใน PLOS ONE เมื่อเดือนมิถุนายน 2024 คือคำตอบจาก AI ร้อยละ 94 ไม่ถูกระบุเลย และโดยเฉลี่ยได้คะแนนสูงกว่านักศึกษาจริงประมาณครึ่งระดับเกรด โดยกระจุกตัวอยู่ในช่วง 2:1 ถึง first class
อาจารย์สามารถบอกได้หรือไม่ว่าคุณใช้ ChatGPT? โดยมากแล้ว ไม่ได้ อย่างน้อยก็ไม่ใช่จากการอ่านแบบปกปิดเพียงครั้งเดียวโดยผู้ตรวจที่ไม่เคยเห็นงานเขียนของผู้เขียนมาก่อน การทดสอบอีกแบบคืออาจารย์ของคุณเอง, อาจารย์ที่ให้คะแนนเรียงความเฉพาะชิ้นของคุณมักจะเคยอ่านงานเขียนของคุณมาก่อน, เคยนั่งตรงข้ามคุณในสัมมนา และเป็นผู้กำหนดข้อความเฉพาะที่ข้อโต้แย้งของคุณควรตอบสนอง ทั้งหมดนี้ไม่มีอยู่ในการศึกษาที่ Reading ซึ่งนั่นเองที่ทำให้รายวิชาจริงแตกต่างจากกระดาษข้อสอบที่ส่งให้คนแปลกหน้า
อาจารย์สามารถบอกได้หรือไม่ว่าคุณใช้ ChatGPT? เริ่มจากสิ่งที่พวกเขารู้อยู่แล้ว
ตัวบ่งชี้การเขียนด้วย AI ของ Turnitin คือซอฟต์แวร์ที่นักศึกษาส่วนใหญ่นึกถึงเมื่อประเด็นนี้ถูกหยิบขึ้นมา และสิ่งที่มันตรวจพบและสิ่งที่มันมองข้ามเป็นเรื่องเฉพาะที่มีการบันทึกไว้แล้ว ไม่ใช่ปริศนาที่ควรคาดเดาเอาเอง อย่างไรก็ตาม ผู้สอนส่วนใหญ่ไม่ได้ทำงานจากเปอร์เซ็นต์บนแดชบอร์ดเป็นหลัก แต่ทำงานจากเอกสารที่พวกเขาวางเทียบกับแฟ้มเอกสารอื่นของคุณได้, เช่น โพสต์อภิปรายจากสัปดาห์ที่สาม, ฉบับร่างหยาบที่คุณส่งอีเมลมาพร้อมคำถาม, หรือการตอบคำถามแบบฉับพลันที่คุณสะดุดในสัมมนาเมื่อสองเดือนก่อน
ความรู้เชิงปฏิบัติของอาจารย์เกี่ยวกับงานเขียนของคุณคือกลไกที่แท้จริงเบื้องหลังคำว่า 'อาจารย์ดูออกเองได้' มันมาจากตัวอย่างการใช้งานจริงของไวยากรณ์ของคุณ, ข้อผิดพลาดที่คุณมักทำ, รูปแบบของข้อโต้แย้งที่คุณมักหยิบมาใช้, และระดับความเฉพาะเจาะจงที่คุณเขียนเมื่อไม่มีใครให้คะแนนความสละสลวยของคุณ การพุ่งขึ้นอย่างฉับพลันของความเรียบร้อยจึงสะดุดตาด้วยเหตุผลที่เป็นรูปธรรม, นั่นคือมันไม่สอดคล้องกับระดับฐานเดิมนั้น ผู้ตรวจครั้งแรกในการศึกษาที่ปกปิดข้อมูลไม่เคยมีระดับฐานให้เปรียบเทียบตั้งแต่แรก
สิ่งที่การศึกษาปกปิดตัวตนของผู้ตรวจพบ และเหตุใดจึงไม่ใช่ภาพทั้งหมด
การศึกษาของ Reading คุ้มค่าที่จะพิจารณาให้นานขึ้นเล็กน้อย เพราะรายละเอียดที่อยู่ใต้ตัวเลขพาดหัวมีประโยชน์มากกว่าพาดหัวเอง ข้อความตอบของ AI เพียง 6.35 เปอร์เซ็นต์เท่านั้นที่ถูกระบุว่าอาจมีความกังวลเกี่ยวกับการทุจริตทางวิชาการในรูปแบบใดก็ตาม และมีเพียง 3.17 เปอร์เซ็นต์ที่ถูกระบุอย่างเฉพาะเจาะจงว่าเขียนโดย AI ส่วนที่เหลือถูกทำเครื่องหมาย ให้คะแนน และส่งคืนกลับมาเช่นเดียวกับงานเขียนอื่นใด นั่นเป็นคำถามคนละแบบกับ ผลบวกลวงและอคติในซอฟต์แวร์ตรวจจับ AI ซึ่งได้รับความสนใจมากกว่าในที่อื่น การศึกษานี้วัดความสามารถดิบของมนุษย์ในการแยกแยะ โดยไม่มีอัลกอริทึมเข้ามาเกี่ยวข้องทั้งสองฝ่าย
ทั้งหมดนี้ไม่ได้หมายความว่าผู้ตรวจประเมินทำงานอย่างไม่รอบคอบ แต่หมายความว่าการศึกษานี้ถูกออกแบบมาเพื่อทดสอบสิ่งเฉพาะเจาะจง, คือเมื่อผู้ให้คะแนนเห็นงานเขียนชิ้นหนึ่งเป็นครั้งแรก โดยไม่มีข้อมูลอื่นเกี่ยวกับผู้เขียน จะสามารถแยกมันออกจากคำตอบของมนุษย์ต่อคำถามเดียวกันได้หรือไม่ นี่ใกล้เคียงกับรูปแบบที่ยากที่สุดของปัญหาการตรวจจับ และนักวิจัยตั้งใจออกแบบให้เป็นเช่นนั้น เมื่อการศึกษานี้เผยแพร่ออกมา Peter Scarfe แห่ง Reading กล่าวไว้ว่า 'งานวิจัยของเราแสดงให้เห็นว่ามีความสำคัญในระดับนานาชาติที่จะต้องเข้าใจว่า AI จะส่งผลต่อความซื่อสัตย์ของการประเมินทางการศึกษาอย่างไร' ซึ่งเป็นปัญหาระดับทั้งภาคส่วน ไม่ใช่เพียงความสนใจเฉพาะของภาควิชาใดภาควิชาหนึ่ง
ทำให้บทความของคุณเป็นธรรมชาติมากขึ้น
ปรับข้อความที่ช่วยโดย AI ของคุณให้ฟังดูเป็นธรรมชาติ, โดยไม่แตะต้องคำสำคัญหรือการอ้างอิง
สิ่งเฉพาะที่บ่งชี้ว่าเป็นร่างที่ไม่ได้เขียนเอง
หลักฐานสี่ประเภทมักปรากฏให้เห็นก่อนที่ซอฟต์แวร์ใด ๆ จะเข้ามาเกี่ยวข้อง และไม่มีข้อใดต้องอาศัยการฝึกพิเศษจึงจะสังเกตได้ นั่นเป็นส่วนหนึ่งของเหตุผลที่ผู้สอนซึ่งคุ้นเคยกับงานของคุณอยู่แล้วสามารถจับได้โดยไม่ต้องเปิดตัวตรวจจับ
| สัญญาณ | ลักษณะที่ปรากฏในทางปฏิบัติ |
|---|---|
| การเปลี่ยนระดับภาษาในกลางเรียงความ | สองย่อหน้าแรกใช้เสียงของคุณตามปกติ แล้วตามด้วยย่อหน้าที่อ่านราวกับว่าผู้เขียนอีกคนที่เป็นทางการมากกว่าเข้ามาแทนที่ |
| แหล่งข้อมูลที่โมดูลไม่เคยกำหนด | การอ้างอิงถึงข้อความที่ไม่เคยปรากฏในรายการอ่านหรือถูกหยิบยกขึ้นมาในสัมมนา วางอยู่ข้างการอ้างอิงที่มีอยู่จริง |
| ข้อโต้แย้งที่ไม่มีร่องรอยของสัมมนา | ข้อกล่าวอ้างที่เพิกเฉยต่อประเด็นโต้แย้งเฉพาะที่ชั้นเรียนใช้เวลายี่สิบนาทีอภิปรายกันในสัปดาห์ที่มอบหมายเรียงความ |
| ผลลัพธ์ที่ไม่ได้แก้ไขถูกทิ้งไว้ในข้อความ | คำสั่งที่หลงเหลืออยู่ วลีที่ซ้ำ หรือบรรทัดที่มีความหมายได้ก็เฉพาะในฐานะข้อความแชตที่เหลือค้างซึ่งไม่มีใครอ่านทวนก่อนส่ง |
ผลลัพธ์จาก AI ที่ไม่ได้แก้ไขและถูกทิ้งไว้ในร่างสุดท้ายฟังดูเหมือนเป็นสัญญาณบ่งชี้ที่พบได้ยาก จนกระทั่งเห็นว่ามันเกิดขึ้นบ่อยเพียงใดภายใต้แรงกดดันด้านเวลา อาจารย์สอนประวัติศาสตร์ที่ Alcorn State University, Jason Gibson, ทดสอบเรื่องนี้โดยตรงในเดือนกรกฎาคม 2026 ด้วยการซ่อนคำสั่งไว้ในข้อความสีขาวภายในโจทย์สอบของเขา ซึ่งมองไม่เห็นบนหน้าเอกสาร, ให้ใส่คำว่า Madagascar ไว้ที่ใดที่หนึ่งในคำตอบในลักษณะที่ไม่มีความหมาย Thirty two จากนักศึกษาของเขา 35 คนทำเช่นนั้นจริง โดยสร้างประโยคอย่าง 'Madagascar floats sideways through the afternoon' ไว้ในคำตอบเกี่ยวกับการปฏิวัติอุตสาหกรรม
ไม่จำเป็นต้องมีตัวตรวจจับสำหรับกรณีนั้น เขาบอกนักศึกษาว่าเขาพบอะไร และเปิดโอกาสให้โต้แย้งเกรดของตน, มีสองคนทำเช่นนั้น และหนึ่งคนประสบความสำเร็จ เพราะได้อ่านบรรทัดที่ซ่อนอยู่ เนื่องจากโหมดมืดบนหน้าจอของเธอทำให้ข้อความสีขาวมองเห็นได้ การจับผลลัพธ์จาก AI ที่ไม่ได้แก้ไขแทบไม่ต้องใช้ซอฟต์แวร์นิติวิทยาศาสตร์ โดยปกติแล้ว เพียงแค่มีใครสักคนอ่านคำตอบ
ร้อยแก้วที่มั่นใจเกี่ยวกับข้อความที่ไม่มีใครอ่านจริง
บางครั้งสิ่งที่บ่งชี้ชัดคือการอ้างอิงที่ไม่มีอยู่จริงเลย งานวิจัยปี 2024 ใน The American Economist ทดสอบ GPT-3.5 และ GPT-4 ด้วยพรอมป์ต์ที่ดึงมาจาก Journal of Economic Literature และพบว่ามากกว่า 30 เปอร์เซ็นต์ของการอ้างอิงที่ GPT-3.5 สร้างขึ้นเป็นสิ่งที่แต่งขึ้นทั้งหมด โดย GPT-4 มีอัตราดีขึ้นเพียงเล็กน้อยเท่านั้น โมเดลไม่ได้ค้นหาอะไรเลยในขณะที่เขียนการอ้างอิง มันกำลังสร้างชื่อผู้แต่ง ชื่อเรื่อง และปีที่ดูน่าเชื่อ เพราะรูปแบบเหล่านั้นปรากฏร่วมกันในข้อมูลฝึกของมัน ไม่ใช่เพราะมีแหล่งที่มาตรงกันอยู่จริง
บางครั้งแหล่งที่มานั้นเป็นของจริง แต่ไม่อาจอธิบายได้จาก syllabus ซึ่งใกล้เคียงกับกรณีแรกเริ่มที่มีการบันทึกไว้อย่างชัดเจนที่ University of Bolton ผู้ตรวจสอบที่พิจารณาเรียงความว่าด้วยทฤษฎีภาวะผู้นำพบว่าสไตล์การเขียนเปลี่ยนไปในแต่ละส่วน ข้อความบางตอนไม่เชื่อมโยงกันอย่างมีตรรกะ และรายการแหล่งอ้างอิงสร้างจากเพียงสองวารสารที่เข้าถึงได้ผ่านระบบ Moodle ของรายวิชาเอง โดยไม่มีอะไรจากรายการอ่านที่กำหนด
การอ้างอิงหนึ่งรายการชี้ไปยังบทความปี 2022 ที่เป็นของจริงแต่คลุมเครืออย่างน่าประหลาด ซึ่งนำ Harry Potter มาใช้กับทฤษฎีภาวะผู้นำ เป็นแหล่งที่มาประเภทที่นักศึกษาซึ่งทำงานจาก syllabus คงไม่มีทางไปเจอได้โดยบังเอิญ แท้จริงแล้วเรียงความนั้นถูกซื้อจากบริการเขียนของบุคคลที่สาม ซึ่งการสอบสวนของมหาวิทยาลัยสรุปว่าได้ใช้ ChatGPT ในบางส่วน และนักศึกษาคนนั้นสอบตกในงานชิ้นดังกล่าวและต้องสอบซ้ำ สิ่งที่ทำให้จับได้ในท้ายที่สุดคือผู้ตรวจที่รู้ว่ารายวิชานั้นมอบหมายอะไรไว้จริง และสังเกตว่าเรียงความไม่ได้สร้างขึ้นจากสิ่งนั้น
สิ่งนี้ไม่ได้หมายความว่าอะไร และนิสัยที่ควรสร้างแทน
ทั้งหมดนี้ไม่ได้หมายความว่าความไม่สอดคล้องทุกกรณีจะทำให้คุณถูกกล่าวหา และไม่ได้หมายความว่างานเขียนที่ขัดเกลาแล้วมีความเสี่ยงโดยเนื้อแท้ อาจารย์อ่านเพื่อดูรูปแบบที่ปรากฏตลอดทั้งงานที่ส่ง ไม่ใช่ประโยคที่น่าสงสัยเพียงประโยคเดียว และกระบวนการที่ตามมาหลังจากมีข้อกังวลที่แท้จริงก็เดินไปตามกฎของมันเองเกี่ยวกับหลักฐานและการสนทนาก่อนที่สิ่งใดจะกลายเป็นทางการ
นิสัยที่เป็นประโยชน์มากกว่า ไม่ว่ากรณีใดก็ตาม คือการตรวจร่างฉบับของตนเองเพื่อดูว่ามีการเลื่อนระดับภาษาแบบที่ผู้อ่านจะสังเกตเห็นหรือไม่ ก่อนส่งงาน ไม่ใช่หลังจากที่คนอื่นสังเกตเห็นแล้ว free formality checker จะระบุย่อหน้าที่เลื่อนออกจากระดับภาษาปกติของคุณเอง ซึ่งเป็นการเปลี่ยนแปลงแบบเดียวกับที่อาจารย์จะสังเกตได้ด้วยตาเปล่า นั่นคือพฤติกรรมการพิสูจน์อักษร ไม่ใช่กลอุบาย และใช้ได้ไม่ว่าร่างนั้นจะเคยแตะ chatbot สักคำหรือไม่ก็ตาม
คำถามในรูปแบบที่ตรงกว่า, will I get caught using ChatGPT, มีคำตอบแยกต่างหาก เช่นเดียวกับคำถามที่แคบกว่าว่า whether Turnitin detects paraphrased text ซึ่งเป็นจุดที่นักศึกษาส่วนใหญ่ติดขัดจริง ๆ
AI humanizer for students ของ TextPulse ใช้แนวคิดพื้นฐานเดียวกัน, คือรายงาน Human Score โดยประมาณที่สร้างจากรูปแบบทางสถิติของงานเขียนของคุณเอง ไม่ใช่การอ้างว่าโปรแกรมของอาจารย์คนใดคนหนึ่งจะกล่าวอย่างไร เพราะไม่มีเครื่องมือใดสามารถรับประกันเรื่องนั้นอย่างมีความรับผิดชอบเกี่ยวกับระบบที่ตนไม่ได้ควบคุมได้ เมื่อใช้กับร่างของคุณเองก่อนส่งงาน มันทำหน้าที่เป็นการอ่านงานของคุณอีกครั้งอย่างเป็นกลางและไม่ฝักใฝ่ฝ่ายใด มากกว่าจะเป็นวิธีโต้แย้งกับใครภายหลัง ยิ่งเรียงความอ่านแล้วมีความเฉพาะเจาะจงและเป็นของคุณจริง ๆ ในแต่ละบรรทัดมากเท่าไร เรื่องเหล่านี้ก็ยิ่งไม่จำเป็นต้องถูกหยิบยกขึ้นมามากเท่านั้น
คำถามที่พบบ่อย
มักจะบอกได้ แม้ว่าแทบไม่ใช่จากซอฟต์แวร์เพียงอย่างเดียวก็ตาม อาจารย์สามารถบอกได้หรือไม่ว่าคุณใช้ ChatGPT? งานวิจัยมหาวิทยาลัยเกี่ยวกับการให้คะแนนแบบปกปิดตัวตนชี้ว่า ผู้ตรวจที่ไม่รู้จักผู้เขียนและประเมินข้อสอบเพียงฉบับเดียวมักไม่สามารถบอกได้, การศึกษาหนึ่งในปี 2024 พบว่าผู้ประเมินพลาดคำตอบข้อสอบที่เขียนโดย AI ไป 94 percent งานเขียนก่อนหน้าของอาจารย์ที่สอนคุณเองมักมีข้อมูลมากกว่า รวมถึงงานเขียนก่อนหน้าของคุณและเนื้อหาเฉพาะที่รายวิชานั้นสอนจริง ซึ่งเป็นสิ่งที่กรณีจริงส่วนใหญ่อาศัยตัดสิน
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.