AI detectors ทำงานอย่างไร? Perplexity, Burstiness และความน่าจะเป็นของโทเคน

มหาวิทยาลัยของคุณได้เริ่มนำงานที่ส่งเข้าระบบไปผ่านตัวตรวจจับ AI แล้ว และมีรายงานกลับมาพร้อมตัวเลขที่คุณไม่คาดคิด ก่อนที่คุณจะพยายามโต้แย้ง ควรเข้าใจก่อนว่าตัวเลขนั้นหมายถึงอะไร ตัวตรวจจับ AI ทำงานอย่างไร? มันไม่ได้อ่านงานเขียนของเครื่องเหมือนที่คนอ่าน มันวัดว่าข้อความของคุณคาดเดาได้มากเพียงใดสำหรับโมเดลภาษา แล้วแปลงความคาดเดาได้นั้นเป็นคะแนน ไม่มีส่วนใดในกระบวนการนั้นที่พิจารณาว่าคุณหมายความว่าอะไร ข้อโต้แย้งของคุณคืออะไร หรือคุณเป็นคนเขียนงานนั้นจริงหรือไม่

ฉันใช้เวลาหลายปีในการสร้างเครื่องมือที่แยกข้อความออกเป็นส่วน ๆ ในเชิงสถิติ และสิ่งที่มีประโยชน์ที่สุดเพียงอย่างเดียวที่จะเข้าใจเกี่ยวกับการตรวจจับคือสิ่งนี้, มันเป็นการวัดความเป็นแบบฉบับ ไม่ใช่การวัดแหล่งกำเนิด เมื่อเข้าใจตรงนี้แล้ว ทั้งเทคโนโลยีและข้อบกพร่องของมันก็จะสมเหตุสมผลขึ้นมาก

ตัวตรวจจับกำลังวัดอะไรจริง ๆ

ตัวตรวจจับไม่รู้ว่าใครเป็นคนเขียนอะไร สิ่งที่มันมีคือโมเดลภาษาและฟังก์ชันการให้คะแนน โมเดลอ่านข้อความของคุณจากซ้ายไปขวา และในแต่ละจุดมันจะสร้างการแจกแจงความน่าจะเป็นของคำถัดไป หากให้คำว่า "the results of the" มันจะจัดอันดับ "study" ไว้สูงสุด "experiment" ต่ำลงมาเล็กน้อย และ "marmalade" อยู่ใกล้ศูนย์

ดังนั้นตัวตรวจจับจึงถามคำถามหนึ่งข้อกับเอกสารของคุณ, ข้อความนี้เลือกคำที่โมเดลคาดไว้บ่อยเพียงใด งานเขียนที่มักลงเอยด้วยคำที่มีความน่าจะเป็นสูงดูเหมือนถูกสร้างโดยเครื่อง เพราะนั่นคือสิ่งที่ตัวสร้างข้อความทำจริง ๆ โมเดลสุ่มตัวอย่างจากส่วนบนสุดของการแจกแจงของมันเองซ้ำแล้วซ้ำเล่า เป็นเวลาหลายพันโทเคน

นี่คือเหตุผลที่หมวดหมู่นี้ตั้งอยู่บนพื้นฐานที่ไม่มั่นคงเท่าที่การตลาดบอกไว้ ตัวตรวจจับไม่ได้กำลังหาลายน้ำหรือลายนิ้วมือ มันเพียงสังเกตว่าร้อยแก้วของคุณไม่น่าประหลาดใจในเชิงสถิติ และร้อยแก้วที่ไม่น่าประหลาดใจมีสาเหตุได้หลายอย่างนอกเหนือจากแชตบอต

Perplexity, โมเดลรู้สึกประหลาดใจมากเพียงใด

ตัวชี้วัดหลักเรียกว่า perplexity ซึ่งเข้าใจได้ง่ายกว่าที่ฟังดู ให้พิจารณาความน่าจะเป็นที่โมเดลกำหนดให้กับแต่ละคำที่ปรากฏจริง นำลอการิทึมของความน่าจะเป็นเหล่านั้นมาเฉลี่ย แล้วทำเอ็กซ์โพเนนเชียลของผลลัพธ์ สิ่งที่ได้คือค่าจำนวนเดียวที่อธิบายว่าโมเดลรู้สึกประหลาดใจกับเอกสารของคุณมากเพียงใด คุณสามารถตรวจสอบ perplexity ของร่างของคุณเองได้ แทนที่จะคาดเดาเอา

perplexity ต่ำหมายความว่าข้อความดำเนินไปในทิศทางที่โมเดลคาดไว้ perplexity สูงหมายความว่าข้อความนั้นเปลี่ยนทิศทางไปเรื่อย ๆ ในแบบที่โมเดลไม่คาดคิด งานเขียนของมนุษย์มักมีค่าที่สูงกว่า เพราะผู้คนมักเลือกคำนามเฉพาะที่แปลก การสร้างประโยคที่ไม่ธรรมดา หรือประโยคที่เริ่มต้นจากจุดที่ไม่คาดคิด ข้อความที่สร้างขึ้นมักมีค่าที่ต่ำกว่า เพราะกระบวนการถอดรหัสถูกออกแบบมาเพื่อหลีกเลี่ยงการเคลื่อนไหวแบบนั้นโดยตรง

ลองเปรียบเทียบสองวิธีในการเปิดส่วนวิธีวิจัย "The results of the study were statistically significant" เป็นลำดับคำที่แทบทุกโมเดลจะทำนายได้ด้วยความมั่นใจสูง เพราะมันไม่ได้ให้ข้อมูลที่ไม่คาดคิด "Two of the three cohorts drifted before week six, which we had not planned for" คาดเดาได้ยากกว่ามาก เพราะมันให้ข้อมูลเฉพาะเจาะจงและไม่ราบรื่น ซึ่งไม่อาจเดาได้จากส่วนอื่นของบทความ การเขียนประโยคที่สองทำให้ตัวตรวจจับต้องเผชิญความประหลาดใจจริง และความประหลาดใจนั้นเองที่ถูกตีความว่าเป็นงานเขียนของมนุษย์

Burstiness: ความแปรปรวน ไม่ใช่ค่าเฉลี่ย

perplexity เพียงอย่างเดียวไม่เพียงพอ เพราะเอกสารอาจมีค่าเฉลี่ยออกมาเป็นตัวเลขที่สมเหตุสมผลอย่างยิ่ง ขณะเดียวกันก็มีความสม่ำเสมอที่น่าสงสัยอยู่ภายใน สิ่งที่สำคัญคือความแปรผันตลอดทั้งข้อความ และนั่นคือสิ่งที่ burstiness วัด, คือระดับที่ความยาวประโยคและ perplexity ในระดับประโยคแกว่งขึ้นลงเมื่อการเขียนดำเนินไป A burstiness checker จะแสดงช่วงการกระจายนั้นให้เห็นโดยตรง

เราจะเร่งความเร็วเมื่อมั่นใจ และชะลอลงเมื่อกำลังสงวนท่าที และจังหวะนั้นยังคงอยู่ในร้อยแก้ว ผู้คนเขียนเป็นช่วง ๆ ย่อหน้าอาจเริ่มด้วยประโยคบอกเล่าสั้น ๆ แปดคำ จากนั้นเข้าสู่ประโยคยาวสามสิบสี่คำที่มีสามอนุประโยคและวงเล็บแทรก แล้วจึงลดกลับไปเป็นถ้อยคำที่กระชับกว่า

ผลลัพธ์ของโมเดลไม่ได้ทำสิ่งนี้อย่างน่าเชื่อถือ ประโยคจะกระจุกตัวอยู่ใกล้ความยาวเฉลี่ย ย่อหน้ามาเป็นชุดที่เรียบร้อย แต่ละส่วนเริ่มต้นด้วยการกล่าวซ้ำหัวข้อของตนเอง มันอ่านได้ลื่นไหลและได้คะแนนแย่ เพราะความแปรปรวนต่ำระหว่างประโยคเป็นหนึ่งในสัญญาณที่แรงที่สุดที่ตัวตรวจจับมี ไม่ใช่ประโยคใดประโยคหนึ่งเพียงประโยคเดียวที่ทำให้รู้ได้ แต่คือความสม่ำเสมอ

สัญญาณ	สิ่งที่วัด	เหตุใดข้อความของเครื่องจึงได้คะแนนต่ำ
Perplexity	ระดับความประหลาดใจของโมเดลต่อการเลือกคำของคุณ โดยเฉลี่ยตลอดทั้งเอกสาร	การถอดรหัสสุ่มตัวอย่างจากโทเคนที่มีความน่าจะเป็นสูงโดยการออกแบบ
Burstiness	ความแปรผันของความยาวประโยคและความคาดเดาได้ตลอดทั้งข้อความมากเพียงใด	ผลลัพธ์กระจุกตัวใกล้ค่าเฉลี่ยแทนที่จะเหวี่ยงไปมา
Token probability	ความน่าจะเป็นรายคำที่อีกสองค่านี้คำนวณจาก	ช่วงยาวของการเลือกแต่ละคำที่ไม่โดดเด่นเป็นพิเศษ

Token probability และที่มาของคะแนน

ตัวเลขทั้งสองนี้สร้างขึ้นจากตัวที่สาม, นั่นคือ log-likelihood ต่อโทเคน, ซึ่งเป็นวัตถุดิบที่ใช้คำนวณทุกอย่างที่เหลือ เครื่องมือบางชนิดแสดงให้คุณเห็นโดยตรง โดยไฮไลต์ช่วงที่ข้อความของคุณคาดเดาได้มากที่สุด ไฮไลต์เหล่านั้นไม่ใช่ข้อกล่าวหาเกี่ยวกับประโยคเฉพาะใด ๆ ไม่ว่าหน้าตาของอินเทอร์เฟซจะสื่อเช่นไร พวกมันคือส่วนที่มีส่วนทำให้ค่าระดับเอกสารมากที่สุด

แนวทางการวิจัยได้ก้าวข้ามเกณฑ์แบบง่ายไปแล้ว DetectGPT และงานที่สืบเนื่องจากมันมองที่ความโค้ง, พวกมันรบกวนข้อความของคุณเล็กน้อยและตรวจดูว่าความน่าจะเป็นลดลงตามรูปแบบที่ข้อความที่สร้างขึ้นมักแสดงหรือไม่ วิธีอื่น ๆ เปรียบเทียบข้อความเดียวกันภายใต้โมเดลสองแบบที่ต่างกัน และใช้ความไม่ตรงกันนั้นเป็นสัญญาณ

ผลตามมาข้อหนึ่งมีความสำคัญต่อผู้ที่กำลังถูกประเมิน เนื่องจากเมตริกเหล่านี้คำนวณเทียบกับโมเดลอ้างอิงเฉพาะหนึ่งแบบ คะแนนจึงเป็นแบบสัมพัทธ์ต่อโมเดลนั้นเสมอ ตัวตรวจจับสองตัวอาจอ่านย่อหน้าเดียวกันและไม่เห็นตรงกันอย่างสิ้นเชิง และไม่มีตัวใดทำงานผิดปกติ พวกมันกำลังตอบคำถามเดียวกันด้วยจุดอ้างอิงที่ต่างกัน

ผลที่ตามมาประการที่สองมักถูกกล่าวถึงน้อยกว่า แบบจำลองจะค้นหาข้อความตอนหนึ่งว่าเป็นสิ่งที่คาดเดาได้ก็ต่อเมื่อข้อความตอนนั้นมีลักษณะคล้ายกับสิ่งที่มันถูกฝึกมา ดังนั้นคุณภาพของการตรวจจับจึงลดลงเมื่อช่องว่างระหว่างแบบจำลองอ้างอิงกับสิ่งใดก็ตามที่สร้างข้อความนั้นกว้างขึ้น ตัวสร้างข้อความรุ่นใหม่ สาขาวิชาที่ไม่คุ้นเคย และภาษาที่ไม่ใช่ภาษาอังกฤษ ล้วนทำให้ช่องว่างนั้นกว้างขึ้น นี่เป็นส่วนหนึ่งของเหตุผลที่ความแม่นยำซึ่งวัดได้ในเกณฑ์มาตรฐานที่ควบคุมอย่างเข้มงวด แทบไม่คงอยู่เมื่อเผชิญกับกองงานส่งจริง

สิ่งที่ตัวตรวจจับเชิงพาณิชย์เพิ่มเข้ามา

เครื่องมือที่สถาบันต่าง ๆ ซื้อมาใช้งานจริงไม่ได้รันค่า perplexity แบบตำรา Turnitin, GPTZero, Originality และเครื่องมืออื่น ๆ ฝึกตัวจำแนกแบบมีผู้กำกับบนชุดข้อมูลขนาดใหญ่ที่ติดป้ายกำกับแล้วของข้อความมนุษย์และข้อความเครื่องจักร โดยใช้ลักษณะเชิงสถิติร่วมกับลักษณะเชิงสไตล์ สิ่งที่ตัวจำแนกเรียนรู้คืออะไรก็ตามที่แยกกองข้อมูลสองกองนั้นออกจากกันในข้อมูลฝึก ซึ่งเป็นสิ่งที่แคบกว่าและผูกกับอดีตมากกว่า "AI writing" โดยทั่วไป

การพึ่งพาข้อมูลฝึกเป็นปัญหาที่เงียบงัน ตัวจำแนกที่ฝึกหลัก ๆ จากผลลัพธ์ของแบบจำลองรุ่นหนึ่ง ต้องทำให้สามารถทั่วไปไปยังแบบจำลองรุ่นใหม่ ไปยังสาขาวิชาที่ไม่คุ้นเคย และไปยังผู้เขียนที่ภาษาอังกฤษของพวกเขาไม่คล้ายกับการกระจายของข้อมูลฝึก ผู้ให้บริการเผยแพร่ตัวเลขความแม่นยำจากการประเมินของตนเอง และเกณฑ์มาตรฐานอิสระก็มักออกมาต่ำกว่าตัวเลขเหล่านั้นอย่างชัดเจนเมื่อทดสอบเครื่องมือเดียวกัน

การอ่านคะแนนโดยไม่อ่านเกินไป

รายงานจากตัวตรวจจับมักมาในรูปเปอร์เซ็นต์ และเปอร์เซ็นต์นั้นก็มักถูกตีความผิด มันไม่ใช่สัดส่วนของเอกสารของคุณที่เครื่องจักรเป็นผู้เขียน ขึ้นอยู่กับเครื่องมือ มันอาจเป็นค่าความเชื่อมั่นของตัวจำแนก หรือสัดส่วนของประโยคที่ข้ามเกณฑ์ภายในบางอย่าง และผู้ให้บริการก็มักอธิบายเรื่องนี้อย่างคลุมเครือ รายงานสองฉบับที่แสดงหกสิบเปอร์เซ็นต์เหมือนกัน อาจหมายถึงสิ่งที่แตกต่างกันมาก

นอกจากนี้ ยังควรทราบด้วยว่าอะไรที่ทำให้คะแนนเปลี่ยนไปด้วยเหตุผลที่ไม่เกี่ยวข้องกับผู้เขียนเลย เอกสารสั้นมีสัญญาณรบกวนมากกว่า เพราะมีข้อความให้น้อยกว่าสำหรับค่าเฉลี่ยที่จะค่อย ๆ ตั้งตัว และเรียงความ 500 คำอาจแกว่งไปได้มากจากประโยคที่ไม่ปกติเพียงสองหรือสามประโยค เนื้อหาที่อ้างคำพูดก็ถูกนับด้วย เว้นแต่เครื่องมือนั้นจะตัดออกไป ดังนั้นบททบทวนวรรณกรรมที่เต็มไปด้วยข้อความอ้างตรงจึงรับเอาความคาดเดาได้ของสิ่งที่มันอ้างมา เนื้อหาทางเทคนิคที่อัดแน่นด้วยคำศัพท์มาตรฐานก็มีพฤติกรรมแบบเดียวกัน

หากคุณเป็นฝ่ายที่ได้รับการแจ้งเตือน การตอบสนองที่เป็นประโยชน์คือหลักฐาน ไม่ใช่การโต้แย้งเกี่ยวกับตัวชี้วัด ประวัติการแก้ไข ฉบับร่าง บันทึก และบันทึกการค้นหาล้วนบอกถึงกระบวนการ และกระบวนการคือสิ่งที่คณะพิจารณาการประพฤติมิชอบสามารถประเมินได้จริง ไม่มีเกณฑ์ใดที่ใครจะชี้ได้ว่าแยกผู้เขียนที่รอบคอบออกจากโมเดลได้

เหตุใดเครื่องมือตรวจจับจึงแจ้งเตือนงานเขียนที่ไม่มีโมเดลใดสร้างขึ้น

ผลบวกลวงไม่ใช่ความขัดข้องที่เกิดขึ้นไม่บ่อย มันเกิดขึ้นโดยตรงจากการวัดความเป็นแบบฉบับ งานเขียนใดก็ตามที่คาดเดาได้จริงก็จะได้คะแนนว่าเป็นสิ่งที่คาดเดาได้ ไม่ว่าผู้ใดจะเป็นผู้สร้างมันขึ้นมาก็ตาม

ผู้เขียนภาษาอังกฤษที่ไม่ใช่เจ้าของภาษาจะได้รับผลกระทบมากที่สุด นักวิจัยจาก Stanford พบว่าเครื่องมือตรวจจับจัดประเภทเรียงความของผู้ที่ไม่ใช่เจ้าของภาษาในสัดส่วนมากว่าเป็นข้อความที่สร้างโดยเครื่องจักร ขณะที่จัดประเภทเรียงความของเจ้าของภาษาได้ถูกต้อง เหตุผลนั้นเป็นเชิงกลไกมากกว่าจะเป็นเจตนาร้าย ผู้เขียนที่ทำงานในภาษาที่สองมักพึ่งพาโครงสร้างที่ใช้กันมานานและคำศัพท์ที่พบได้ทั่วไปมากกว่า นั่นคือรูปแบบของ perplexity ต่ำพอดี ซึ่งเป็นเหตุผลที่ ESL writers get flagged for writing carefully

ธรรมเนียมทางวิชาการก็ก่อให้เกิดปัญหาเดียวกัน ส่วนวิธีการควรมีลักษณะเป็นสูตรสำเร็จ งานเขียนทางกฎหมาย เอกสารทางเทคนิค และรายงานทางคลินิก ล้วนให้คุณค่ากับถ้อยคำมาตรฐานมากกว่าถ้อยคำที่สร้างสรรค์ การแก้ไขอย่างหนักยิ่งทำให้ปัญหานี้รุนแรงขึ้นอีก เพราะการขัดเกลาฉบับร่างมักหมายถึงการลบความไม่สม่ำเสมอที่เป็นลายเซ็นทางสถิติของคุณออกไป

สถาบันต่าง ๆ สังเกตเห็นเรื่องนี้แล้ว Vanderbilt ปิดใช้งานฟีเจอร์ตรวจจับ AI ของ Turnitin แทนที่จะยึดตามคะแนนที่ไม่สามารถตรวจสอบได้ และมหาวิทยาลัยอื่น ๆ ก็จำกัดวิธีการใช้ตัวเลขเหล่านี้ในกระบวนการพิจารณาความประพฤติมิชอบ ให้ถือว่าคะแนนจากตัวตรวจจับเป็นเพียงหลักฐานที่อ่อนมากชิ้นหนึ่ง ไม่ใช่คำตัดสิน

สิ่งนี้หมายความว่าอย่างไรต่อการเขียนของคุณเอง

คำแนะนำเชิงปฏิบัติที่ตามมาจากกลไกนี้ไม่ได้แปลกใหม่ และไม่มีข้อใดเกี่ยวข้องกับการเล่นกลใด ๆ จงปรับความยาวของประโยคอย่างตั้งใจ เพราะความสม่ำเสมอคือสิ่งที่ถูกจับสังเกต เก็บรายละเอียดเฉพาะไว้, ตัวเลขจริง, ข้อจำกัดจริง, สิ่งที่ผิดพลาดในสัปดาห์ที่หก ความสามารถทั่วไปคือสิ่งที่ได้คะแนนว่าเหมือนงานที่สร้างโดยเครื่องจักร และความเฉพาะเจาะจงเป็นทั้งการเขียนที่ดีกว่าและสัญญาณที่เข้มแข็งกว่า

จงรักษาสำนวนของตนเองไว้ด้วย หากคุณมีวิธีการถ้อยคำของตนเอง ก็ปล่อยให้มันคงอยู่ ความอยากขัดเกลาร่างต้นฉบับจนมันฟังดูเหมือนบทความอื่นทุกชิ้นในสาขาเดียวกัน คือความอยากที่ทำให้ perplexity ของคุณลดลง

สิ่งหนึ่งที่ควรหลีกเลี่ยง, เครื่องมือบางชนิดจงใจใส่ข้อผิดพลาดทางไวยากรณ์เพื่อเพิ่ม perplexity มันได้ผลกับตัวชี้วัดนี้ และเป็นความคิดที่แย่มากสำหรับงานที่มีการให้คะแนนหรือผ่านการประเมินโดยผู้ทรงคุณวุฒิ เพราะคุณกำลังแลกความสงสัยกับความแน่นอน เป้าหมายคือการเขียนที่อ่านแล้วเป็นของคุณ ไม่ใช่การเขียนที่ถูกทำให้เสียหายโดยตั้งใจ นั่นคือความแตกต่างทั้งหมดระหว่าง การเขียนใหม่เพื่อผู้อ่านที่เป็นมนุษย์ กับการทำลายข้อความเพื่อหลอกคะแนน

หากคุณต้องการดูตัวเลขเหล่านี้สำหรับร่างของคุณเอง แทนที่จะเชื่อกล่องดำตามคำกล่าวอ้างของมัน การวัดพื้นฐานเหล่านี้ไม่ได้เป็นความลับ free text analysis tools จะแสดงให้คุณเห็นว่างานเขียนของคุณอยู่ตรงไหน และคุณสามารถตัดสินใจได้ด้วยตนเองว่าช่วงที่ราบเรียบนั้นเป็นปัญหาด้านสไตล์ที่ควรแก้ไขหรือไม่