AI Detectors ยังพึ่งพา Perplexity และ Burstiness อยู่หรือไม่?

ค้นหาว่า GPTZero ตรวจจับงานเขียนที่สร้างโดย AI อย่างไรในปัจจุบัน และสิ่งที่พบกลับมายังคงวนเวียนอยู่กับสถิติสองตัว คือ perplexity และ burstiness ซึ่งเป็นคู่ที่ทำให้เครื่องมือนี้มีชื่อเสียงภายในไม่กี่สัปดาห์หลังเปิดตัวในเดือนมกราคม 2023 เอกสารสนับสนุนของ GPTZero เองในตอนนี้กล่าวต่างออกไป, คือมันหยุดใช้ทั้งสองอย่างแล้วในฤดูใบไม้ร่วงของปีเดียวกันนั้น

ดังนั้น burstiness ยังถูกใช้โดยตัวตรวจจับ AI อยู่หรือไม่, ไม่ใช่โดยเครื่องมือที่ทำให้คำนี้กลายเป็นคำที่คนในวงวิชาการรู้จักกันทั่วไป ศูนย์สนับสนุนของ GPTZero ระบุอย่างชัดเจนว่ามันไม่ใช้ perplexity หรือ burstiness อีกต่อไปแล้ว โดยได้เปลี่ยนไปใช้สถาปัตยกรรมแบบ deep-learning แทน Turnitin ซึ่งเป็นเครื่องมือที่นักศึกษาส่วนใหญ่พบเจอจริง ไม่เคยเผยแพร่คำทั้งสองนี้ว่าเป็นส่วนหนึ่งของวิธีการตั้งแต่แรก แนวคิดเหล่านี้ไม่ได้หายไปจากการสนทนา แต่หายไปจากผลิตภัณฑ์ที่ทำหน้าที่ตรวจจับจริง

burstiness ยังถูกใช้โดยตัวตรวจจับ AI อยู่หรือไม่

ไม่, ไม่ใช่โดย GPTZero และไม่ใช่ในชื่อนี้ เอกสารสนับสนุนของ GPTZero เอง ระบุไว้อย่างตรงไปตรงมาว่า, "As of autumn 2023, GPTZero no longer uses perplexity and burstiness for its AI detection because we migrated to a deep-learning based architecture." คู่มือของ Turnitin เอง อธิบายวิธีการที่แตกต่างออกไปอีกแบบหนึ่ง, ซึ่งสร้างขึ้นโดยการให้คะแนนส่วนย่อยของงานที่ส่งด้วยตัวจำแนกที่ผ่านการฝึกฝนมาแล้ว และไม่มีคำทั้งสองนี้ปรากฏอยู่ในเอกสารดังกล่าวเช่นกัน สถิติสองตัวที่กำหนดคลื่นแรกของการตรวจจับ AI ไม่ใช่สิ่งที่เครื่องมือชั้นนำใช้งานอยู่ในปัจจุบัน นั่นเป็นการกล่าวที่แคบกว่าการบอกว่ามันถูกทิ้งไป, เพราะคำอธิบายของ GPTZero เองยังนับมันเป็นหนึ่งในเจ็ดตัวบ่งชี้ที่ป้อนเข้าสู่โมเดลของมัน มันหยุดเป็นวิธีการโดยไม่หยุดเป็นการวัด และความแตกต่างระหว่างสองข้ออ้างนี้คือสาระสำคัญส่วนใหญ่ของคำถามนี้

อะไรเปลี่ยนไปในฤดูใบไม้ร่วง 2023

สองคำนี้ไม่เคยเป็นคำที่คลุมเครือ GPTZero เองในคำอธิบายช่วงแรกได้ให้คำนิยาม perplexity ว่า "a measure of how likely an AI model would have chosen the exact same set of words as found in the document," และ burstiness ว่า "a measure of how much writing patterns and text perplexities vary over the entire document," ซึ่งเป็นสถิติระดับเอกสาร ไม่ใช่การนับความยาวประโยคแบบง่าย ทั้งสองคำนิยามยังคงเผยแพร่อยู่บนเว็บไซต์ของ GPTZero สิ่งที่เปลี่ยนไปคือว่าตัวตรวจจับนั้นรันอะไรจริง

"Migrated to a deep-learning based architecture" เป็นข้ออ้างที่เฉพาะเจาะจง ไม่ใช่วลีทางการตลาด และมันอธิบายการเปลี่ยนแปลงเชิงชนิดที่เกิดขึ้นจริง คะแนน perplexity คำนวณได้โดยตรงจากสูตร, นำข้อความผ่าน language model อ้างอิง, หาค่าเฉลี่ยของความน่าจะเป็นลอการิทึม, แล้วยกกำลังผลลัพธ์ ส่วน classifier แบบ deep-learning นั้นถูกฝึกแทน โดยแสดงตัวอย่างงานเขียนของมนุษย์และ AI จำนวนมากให้มันดู จนกระทั่งมันเรียนรู้ได้ด้วยตัวเองว่าการผสมผสานของคุณลักษณะใดแยกกองทั้งสองออกจากกันในข้อมูลฝึกนั้น ไม่มีใครเขียนกฎด้วยมือในแนวทางที่สอง โมเดลเป็นผู้ค้นพบมัน

ทั้งสองคำที่เลิกใช้แล้วมีคำอธิบายฉบับเต็มอยู่ที่อื่นบนเว็บไซต์นี้: what perplexity actually measures และ what burstiness actually measures ครอบคลุมกลไกของแต่ละคำอย่างละเอียด รวมถึงสูตรที่อยู่เบื้องหลัง บทความนี้จึงจำกัดอยู่เพียงคำถามว่า วันนี้ตัวตรวจจับยังใช้คำใดคำหนึ่งอยู่หรือไม่

สิ่งที่ GPTZero และ Turnitin บันทึกไว้จริงในปัจจุบัน

หน้าเทคโนโลยีปัจจุบันของ GPTZero ซึ่งอธิบายสิ่งที่ถูกส่งมอบในผลิตภัณฑ์ ระบุว่าบริษัทใช้ "an end-to-end deep learning approach, trained on text datasets from the web, education, and AI-generated from a range of LLMs", โดยที่ "a sentence-by-sentence classification model determines the probability and confidence that a text was created by AI". Perplexity และ burstiness ไม่ปรากฏอยู่ในหน้านั้นเลย, ไม่ใช่ในฐานะองค์ประกอบ, ไม่ใช่ในฐานะฟีเจอร์เดิม, และไม่อยู่ในเชิงอรรถ

เอกสารของ Turnitin ไม่ได้ถูกสร้างขึ้นโดยมีคำทั้งสองคำนี้เป็นแกนตั้งแต่แรก คู่มือของบริษัทอธิบายการส่งงานที่ถูกแบ่งออกเป็นส่วนย่อย ๆ หลายร้อยคำ โดยแต่ละส่วนย่อยถูกให้คะแนนโดยโมเดลที่ผ่านการฝึก และนำคะแนนของแต่ละส่วนมาเฉลี่ยเป็นเปอร์เซ็นต์เดียวที่รายงานแสดงออกมา นั่นคือการจำแนกแบบมีผู้สอนที่ทำงานกับส่วนของข้อความ ซึ่งอยู่ในตระกูลวิธีเดียวกับที่ GPTZero ได้เปลี่ยนไปใช้ ไม่ใช่การคำนวณ perplexity และไม่ใช่การคำนวณ burstiness ภายใต้ชื่ออื่น

การเปลี่ยนแปลงนี้เห็นได้ชัดที่สุดเมื่อวางเทียบกัน

	สิ่งที่คำอธิบายในระยะแรกอธิบายไว้ (2023)	สิ่งที่เอกสารปัจจุบันอธิบาย
GPTZero	perplexity และ burstiness, ให้คะแนนเทียบกับโมเดลอ้างอิง	ตัวจำแนกแบบ deep-learning ระดับประโยคต่อประโยค ที่ส่งออกค่าความน่าจะเป็นและคะแนนความเชื่อมั่น
Turnitin	ไม่เคยเผยแพร่, คำเหล่านี้ไม่ปรากฏในสื่อของ Turnitin เองในช่วงเวลาใดเลย	ส่วนย่อยของข้อความหลายร้อยคำที่ถูกให้คะแนนโดยตัวจำแนกที่ผ่านการฝึก แล้วนำมาเฉลี่ยเป็นเปอร์เซ็นต์เดียว

เหตุใดแนวคิดเหล่านี้ยังคงอธิบายความสามารถในการตรวจจับได้

ทั้งหมดนี้ไม่ได้ทำให้ perplexity และ burstiness ผิด เพียงแต่ล้าสมัยในฐานะคำอธิบายของกลไกปัจจุบัน แนวคิดทั้งสองนี้เคยอธิบายสิ่งที่มีอยู่จริงเสมอมา, ข้อความที่สร้างขึ้นโดยการสุ่มตัวอย่างไปยังคำต่อเนื่องที่มีความน่าจะเป็นสูงสุดของโมเดล มักจะคาดเดาได้มากกว่า, คำต่อคำ, เมื่อเทียบกับข้อความที่มนุษย์เขียนขึ้นใหม่ทั้งหมด, และมักจะแปรผันน้อยกว่าจากประโยคหนึ่งไปสู่อีกประโยคหนึ่ง ความสม่ำเสมอพื้นฐานนี้ไม่ได้เปลี่ยนไปเพียงเพราะผู้ให้บริการเปลี่ยนสถาปัตยกรรมของตัวตรวจจับ สิ่งที่เปลี่ยนไปคือวิธีที่ตัวตรวจจับออกไปค้นหามัน

ตัวจำแนกที่ผ่านการฝึกไม่ได้ถูกขออย่างชัดเจนให้มองหา perplexity หรือ burstiness แต่อย่างใด หากแต่ถูกฝึกบนความแตกต่างพื้นฐานเดียวกันระหว่างข้อความที่มนุษย์เขียนกับข้อความที่เครื่องสร้าง ซึ่งสถิติทั้งสองนี้ถูกออกแบบมาเพื่อจับให้ได้ และดูเหมือนจะเป็นไปได้น้อยมากที่ตัวจำแนกซึ่งฝึกให้แยกกองข้อความสองกองนี้จะไม่อาศัยความเป็นระเบียบแบบเดียวกันนั้นโดยตรงด้วยเช่นกัน, ซึ่งเป็นหนึ่งในความแตกต่างที่เชื่อถือได้มากที่สุดระหว่างทั้งสองกองนี้ นี่เป็นข้ออนุมานเกี่ยวกับเหตุผลที่ตัวจำแนกน่าจะทำงานได้ ไม่ใช่ข้ออ้างเกี่ยวกับรายการคุณลักษณะที่เผยแพร่ และทั้งสองอย่างควรถูกแยกออกจากกัน

งานวิจัยอิสระสนับสนุนแนวคิดที่ว่าสถิติพื้นฐานนี้ยังคงมีน้ำหนัก แม้จะอยู่นอกผลิตภัณฑ์ของผู้ขายรายใดรายหนึ่งก็ตาม DetectGPT, วิธีการแบบ zero-shot เชิงวิชาการที่เผยแพร่ในปี 2023 พิจารณาญาติใกล้ชิดของ perplexity, คือความโค้งของฟังก์ชัน log-probability ของแบบจำลองรอบข้อความตอนหนึ่งอย่างชัดเจนเพียงใด และได้ค่า AUROC 0.95 บน benchmark หนึ่ง เทียบกับ 0.81 ของ baseline แบบ zero-shot ที่ดีที่สุดก่อนหน้านั้น โดยไม่ต้องฝึกตัวจำแนกบนตัวอย่างที่มีป้ายกำกับเลย แนวคิดหลักที่ว่าข้อความที่สร้างโดยเครื่องอยู่ในบริเวณที่แตกต่างทางสถิติภายในพื้นที่ความน่าจะเป็นของแบบจำลองเอง ยังคงเป็นงานวิจัยที่ดำเนินอยู่ เพียงแต่ไม่ใช่สิ่งที่ GPTZero ส่งมอบให้ผู้ใช้

เหตุใดอินเทอร์เน็ตจำนวนมากจึงยังเข้าใจเรื่องนี้ผิด

คำอธิบายที่เผยแพร่ส่วนใหญ่เกี่ยวกับวิธีการทำงานของการตรวจจับ AI ถูกเขียนขึ้นในช่วงเปิดตัว GPTZero ในเดือนมกราคม 2023 หรือไม่นานหลังจากนั้น เมื่อ perplexity และ burstiness เป็นกรอบอธิบายสาธารณะเพียงอย่างเดียวที่บริษัทเสนอเอง หน้าอธิบายต้นฉบับเหล่านั้นยังคงเปิดใช้งานอยู่จนถึงวันนี้ ประกาศยุติการใช้งานในฤดูใบไม้ร่วงปี 2023 อยู่ในหน้า support แยกต่างหาก แทนที่จะถูกรวมเข้าไปในหน้าเหล่านั้น ดังนั้นผู้เขียนที่อ่านหน้าแรกแล้วหยุดค้นคว้าต่อ ย่อมไม่มีเหตุผลที่จะรู้ว่าวิธีการเปลี่ยนไปภายในเวลาไม่ถึงหนึ่งปี

บทวิจารณ์เครื่องมือตรวจจับของบุคคลที่สามที่เผยแพร่หมุนเวียนในปี 2026 อ้างว่า GPTZero ยังใช้ perplexity และ burstiness เป็นเพียงหนึ่งชั้นท่ามกลางหลายชั้นภายในระบบที่ใหญ่กว่า ข้ออ้างนั้นขัดแย้งโดยตรงกับหน้าเทคโนโลยีปัจจุบันของ GPTZero เองและเอกสารสนับสนุนของ GPTZero เอง และไม่มีสิ่งใดบนเว็บไซต์ของ GPTZero เองที่ยืนยันข้ออ้างดังกล่าว บริษัทที่อธิบายผลิตภัณฑ์ที่ตนส่งมอบออกไปแล้ว ยังคงมีน้ำหนักเหนือกว่าข้ออ้างที่ไม่ได้รับการยืนยันจากบุคคลที่สามเกี่ยวกับผลิตภัณฑ์เดียวกันนั้น แม้ว่าเอกสารของผู้ขายเองก็อาจผิดได้เช่นกัน บทความนี้ยึดตามหน้าของ GPTZero เอง มากกว่าบทวิจารณ์ที่เล่าเรื่องเดิมซ้ำ

สิ่งนี้หมายความว่าอย่างไรต่อวิธีที่คุณเขียน

คำแนะนำเชิงปฏิบัติที่สร้างขึ้นรอบ burstiness ยังไม่ได้ไร้ประโยชน์ เพียงเพราะคำนั้นหายไปจากเอกสารของ GPTZero เอง การตั้งใจทำให้ความยาวประโยคหลากหลายยังคงเป็นข้อโต้แย้งในเชิงกลไกเกี่ยวกับการหลีกเลี่ยงความสม่ำเสมอทางสถิติแบบเดียวกันที่ตัวจำแนกมีแนวโน้มสูงว่าจะถูกฝึกให้สังเกต ไม่ว่าภายในจะเรียกสัญญาณนั้นว่าอะไร คำแนะนำพื้นฐานยังคงอยู่แม้สถาปัตยกรรมของผู้ขายจะเปลี่ยนไปแล้วก็ตาม แม้ว่าศัพท์ที่ใช้อธิบายจะไม่คงเดิม

ทั้งหมดนี้ไม่จำเป็นต้องเชื่อคำพูดของใครทั้งสิ้น รวมถึงของบทความนี้ด้วย เครื่องมือตรวจ perplexity ฟรี ของ TextPulse และ ชุดเครื่องมือฟรี ที่กว้างกว่า ช่วยให้คุณดูได้ว่าร่างของคุณอยู่ตรงไหนก่อนที่ตัวตรวจจับ ไม่ว่าจะเป็นรุ่นใด จะได้ทำงานเสียอีก

หากคำตอบทำให้คุณย้อนกลับไปดูงานเขียนของตนเอง ขั้นตอนติดตามผลในทางปฏิบัติคือ การเพิ่ม burstiness อย่างตั้งใจ และ การทำให้ความยาวประโยคหลากหลายตลอดย่อหน้าเชิงวิชาการ ซึ่งเป็นงานเดียวกันที่อธิบายโดยไม่ใช้ตัวชี้วัด

กลไกที่ตัวตรวจจับใช้จะยังคงเปลี่ยนไป GPTZero ได้เปลี่ยนมันไปแล้วครั้งหนึ่ง สิ่งที่คงที่คือคำถามจริง ซึ่งอธิบายไว้อย่างครบถ้วนใน คู่มือของเว็บไซต์นี้เกี่ยวกับวิธีที่ตัวตรวจจับ AI ทำงานจริง, ว่างานเขียนที่คาดเดาได้เป็นสิ่งเดียวกับงานเขียนที่เครื่องสร้างขึ้นหรือไม่ โดยไม่ขึ้นกับว่าสูตรใดกำลังเป็นที่นิยมในปีใดปีหนึ่ง