AI Detectors ยังพึ่งพา Perplexity และ Burstiness อยู่หรือไม่?

ค้นหาว่า GPTZero ตรวจจับงานเขียน AI อย่างไรในปัจจุบัน และสิ่งที่พบกลับมายังคงวนอยู่กับสถิติสองตัวคือ perplexity และ burstiness ซึ่งเป็นคู่ที่ทำให้เครื่องมือนี้มีชื่อเสียงภายในไม่กี่สัปดาห์หลังเปิดตัวในเดือนมกราคม 2023 เอกสารสนับสนุนของ GPTZero เองในตอนนี้ระบุสิ่งที่ต่างออกไป, คือมันหยุดใช้ทั้งสองอย่างในฤดูใบไม้ร่วงของปีเดียวกันนั้น

ดังนั้น burstiness ยังถูกใช้โดยตัวตรวจจับ AI อยู่หรือไม่, ไม่ใช่โดยเครื่องมือที่ทำให้คำนี้กลายเป็นคำที่คุ้นเคยในวงวิชาการ ศูนย์สนับสนุนของ GPTZero ระบุอย่างชัดเจนว่าไม่ได้ใช้ perplexity หรือ burstiness อีกต่อไปแล้ว โดยได้ย้ายไปใช้สถาปัตยกรรมแบบ deep-learning แทน Turnitin ซึ่งเป็นเครื่องมือที่นักศึกษาส่วนใหญ่พบเจอจริง ไม่เคยเผยแพร่คำทั้งสองนี้ว่าเป็นส่วนหนึ่งของวิธีการตั้งแต่แรก แนวคิดเหล่านี้ไม่ได้หายไปจากการสนทนา แต่หายไปจากผลิตภัณฑ์ที่ทำหน้าที่ตรวจจับจริง

burstiness ยังถูกใช้โดยตัวตรวจจับ AI อยู่หรือไม่?

ไม่ใช่, ไม่ใช่โดย GPTZero และไม่ใช่ในชื่อนี้ เอกสารสนับสนุนของ GPTZero เองกล่าวไว้อย่างตรงไปตรงมาว่า, "As of autumn 2023, GPTZero no longer uses perplexity and burstiness for its AI detection because we migrated to a deep-learning based architecture." คู่มือของ Turnitin เองอธิบายวิธีการที่ต่างออกไปอีกแบบ, ซึ่งสร้างขึ้นจากการให้คะแนนส่วนย่อยของงานที่ส่งด้วยตัวจำแนกที่ผ่านการฝึก และไม่มีคำทั้งสองนี้ปรากฏอยู่ในเอกสารดังกล่าวเช่นกัน สถิติสองตัวที่กำหนดคลื่นแรกของการตรวจจับ AI ไม่ใช่สิ่งที่เครื่องมือชั้นนำใช้งานอยู่ในปัจจุบัน นั่นเป็นการกล่าวที่แคบกว่าการบอกว่ามันถูกทิ้งไป, เพราะคำอธิบายของ GPTZero เองยังนับมันเป็นหนึ่งในเจ็ดตัวบ่งชี้ที่ป้อนเข้าสู่โมเดลของมัน มันหยุดเป็นวิธีการโดยที่ยังไม่หยุดเป็นการวัด และความแตกต่างระหว่างสองข้ออ้างนี้คือแก่นสำคัญของคำถามนี้

อะไรเปลี่ยนไปในฤดูใบไม้ร่วง 2023

คำสองคำนี้ไม่เคยเป็นคำที่คลุมเครือ GPTZero เองในคำอธิบายเบื้องต้นช่วงแรกได้ให้คำนิยาม perplexity ว่า "a measure of how likely an AI model would have chosen the exact same set of words as found in the document," และ burstiness ว่า "a measure of how much writing patterns and text perplexities vary over the entire document," ซึ่งเป็นสถิติระดับเอกสาร ไม่ใช่การนับความยาวประโยคแบบง่าย ทั้งสองคำนิยามยังคงเผยแพร่อยู่บนเว็บไซต์ของ GPTZero สิ่งที่เปลี่ยนไปคือเครื่องตรวจจับนั้นรันตัวใดกันแน่

"Migrated to a deep-learning based architecture" เป็นข้ออ้างที่เฉพาะเจาะจง ไม่ใช่ถ้อยคำทางการตลาด และอธิบายการเปลี่ยนแปลงเชิงชนิดที่เกิดขึ้นจริง คะแนน perplexity คำนวณได้โดยตรงจากสูตร, นำข้อความผ่านแบบจำลองภาษามาตรฐาน, หาค่าเฉลี่ยของความน่าจะเป็นลอการิทึม, แล้วยกกำลังผลลัพธ์ ส่วนตัวจำแนกแบบ deep-learning นั้นถูกฝึกแทน โดยแสดงตัวอย่างจำนวนมากที่เป็นงานเขียนของมนุษย์และของ AI ให้มันดู จนมันเรียนรู้ได้ด้วยตัวเองว่าการผสมผสานของคุณลักษณะใดที่แยกกองทั้งสองออกจากกันในข้อมูลฝึกนั้น ไม่มีใครเขียนกฎด้วยมือในแนวทางที่สอง แบบจำลองเป็นผู้ค้นพบมัน

คำที่เลิกใช้ทั้งสองคำมีคำอธิบายฉบับเต็มอยู่ที่อื่นบนเว็บไซต์นี้: what perplexity actually measures และ what burstiness actually measures อธิบายกลไกของแต่ละคำอย่างละเอียด รวมถึงสูตรที่อยู่เบื้องหลัง บทความนี้จะจำกัดอยู่เพียงคำถามว่า ปัจจุบันเครื่องตรวจจับยังรันอย่างใดอย่างหนึ่งอยู่หรือไม่

GPTZero และ Turnitin บันทึกไว้อย่างไรในปัจจุบัน

หน้าเทคโนโลยีปัจจุบันของ GPTZero ซึ่งอธิบายสิ่งที่ถูกส่งมอบในผลิตภัณฑ์ ระบุว่าเครื่องตรวจจับของตนเป็น "end-to-end deep learning approach" พร้อม "sentence-by-sentence classification model" ที่ให้ผลลัพธ์เป็นความน่าจะเป็นพร้อมคะแนนความเชื่อมั่น Perplexity และ burstiness ไม่ปรากฏอยู่ที่ใดบนหน้านั้นเลย, ไม่ใช่ในฐานะองค์ประกอบ, ไม่ใช่ในฐานะคุณลักษณะเดิม, และไม่ใช่ในเชิงเชิงอรรถ

เอกสารประกอบของ Turnitin ไม่ได้ถูกสร้างขึ้นโดยยึดคำทั้งสองคำนี้ตั้งแต่แรก คู่มือของบริษัทอธิบายการส่งงานว่าแบ่งออกเป็นส่วนย่อย ๆ ที่มีคำเพียงไม่กี่ร้อยคำ โดยแต่ละส่วนย่อยจะถูกให้คะแนนโดยโมเดลที่ผ่านการฝึก และนำคะแนนของแต่ละส่วนมาเฉลี่ยเป็นเปอร์เซ็นต์เดียวที่รายงานแสดงออกมา นี่คือการจำแนกแบบมีผู้สอนที่ทำงานกับส่วนของข้อความ ซึ่งอยู่ในตระกูลวิธีเดียวกับที่ GPTZero ได้หันมาใช้ ไม่ใช่การคำนวณ perplexity และไม่ใช่การคำนวณ burstiness ภายใต้ชื่ออื่น

การเปลี่ยนแปลงนี้เห็นได้ชัดที่สุดเมื่อวางเทียบกัน

	สิ่งที่คำอธิบายยุคแรกระบุไว้ (2023)	สิ่งที่เอกสารปัจจุบันอธิบาย
GPTZero	perplexity และ burstiness, ให้คะแนนเทียบกับโมเดลอ้างอิง	ตัวจำแนกแบบ deep-learning รายประโยคที่ส่งออกค่าความน่าจะเป็นและคะแนนความเชื่อมั่น
Turnitin	ไม่เคยเผยแพร่, คำเหล่านี้ไม่ปรากฏในเอกสารของ Turnitin เองในช่วงเวลาใดเลย	ส่วนย่อยที่มีคำเพียงไม่กี่ร้อยคำซึ่งถูกให้คะแนนโดยตัวจำแนกที่ผ่านการฝึก แล้วนำมาเฉลี่ยเป็นเปอร์เซ็นต์เดียว

เหตุใดแนวคิดเหล่านี้จึงยังอธิบายความสามารถในการตรวจจับได้

ทั้งหมดนี้ไม่ได้ทำให้ perplexity และ burstiness ผิด เพียงแต่ล้าสมัยในฐานะคำอธิบายของกลไกปัจจุบัน แนวคิดทั้งสองนี้เคยอธิบายสิ่งที่มีอยู่จริงมาโดยตลอด, ข้อความที่สร้างขึ้นโดยการสุ่มเลือกไปยังส่วนต่อเนื่องที่มีความน่าจะเป็นสูงสุดของโมเดลเองมักจะคาดเดาได้มากกว่า, ทีละคำ, เมื่อเทียบกับข้อความที่คนเขียนขึ้นใหม่จากศูนย์, และมักจะแปรผันน้อยกว่าจากประโยคหนึ่งไปสู่อีกประโยคหนึ่ง ความสม่ำเสมอพื้นฐานนี้ไม่ได้เปลี่ยนไปเพียงเพราะผู้ให้บริการเปลี่ยนสถาปัตยกรรมของตัวตรวจจับ สิ่งที่เปลี่ยนไปคือวิธีที่ตัวตรวจจับออกไปค้นหามัน

ตัวจำแนกที่ผ่านการฝึกไม่ได้ถูกขออย่างชัดเจนให้มองหา perplexity หรือ burstiness แต่อย่างใด หากแต่ถูกฝึกบนความแตกต่างพื้นฐานเดียวกันระหว่างข้อความที่มนุษย์เขียนกับข้อความที่เครื่องสร้างขึ้น ซึ่งสถิติสองตัวนั้นถูกออกแบบมาเพื่อจับให้ได้ และดูเหมือนเป็นไปได้น้อยมากที่ตัวจำแนกซึ่งฝึกให้แยกกองข้อความสองกองนี้จะไม่อาศัยความสม่ำเสมอแบบนั้นโดยตรงด้วยเช่นกัน, ซึ่งเป็นหนึ่งในความแตกต่างที่เชื่อถือได้มากที่สุดระหว่างทั้งสองกอง ข้อนี้เป็นการอนุมานว่าเหตุใดตัวจำแนกจึงน่าจะทำงานได้ ไม่ใช่การอ้างถึงรายการคุณลักษณะที่เผยแพร่ของมัน และทั้งสองเรื่องควรแยกจากกัน

งานวิจัยอิสระสนับสนุนแนวคิดที่ว่าสถิติพื้นฐานนี้ยังคงมีน้ำหนัก แม้จะอยู่นอกผลิตภัณฑ์ของผู้ขายรายใดรายหนึ่งก็ตาม DetectGPT, วิธีการแบบ zero-shot เชิงวิชาการที่เผยแพร่ในปี 2023 พิจารณาญาติใกล้ชิดของ perplexity, คือความโค้งของฟังก์ชัน log-probability ของแบบจำลองรอบข้อความตอนหนึ่งอย่างชัดเจนเพียงใด และได้ค่า 0.95 AUROC บนเกณฑ์มาตรฐานหนึ่ง เทียบกับ 0.81 ของ baseline แบบ zero-shot ที่ดีที่สุดก่อนหน้านั้น โดยไม่ต้องฝึกตัวจำแนกจากตัวอย่างที่มีป้ายกำกับเลย แก่นความคิดที่ว่าข้อความที่สร้างโดยเครื่องอยู่ในบริเวณที่แตกต่างทางสถิติของพื้นที่ความน่าจะเป็นของแบบจำลองเองนั้น ยังคงเป็นงานวิจัยที่ดำเนินอยู่ เพียงแต่นั่นไม่ใช่สิ่งที่ GPTZero ส่งมอบให้ผู้ใช้

เหตุใดอินเทอร์เน็ตจำนวนมากจึงยังเข้าใจเรื่องนี้ผิด

คำอธิบายที่เผยแพร่ส่วนใหญ่เกี่ยวกับวิธีการทำงานของการตรวจจับ AI ถูกเขียนขึ้นในช่วงเวลาเดียวกับการเปิดตัว GPTZero ในเดือนมกราคม 2023 หรือไม่นานหลังจากนั้น, เมื่อ perplexity และ burstiness เป็นเพียงกรอบอธิบายสาธารณะเดียวที่บริษัทเสนอเอง หน้าอธิบายต้นฉบับเหล่านั้นยังคงเปิดใช้งานอยู่จนถึงวันนี้ ประกาศยุติการใช้ในฤดูใบไม้ร่วงปี 2023 อยู่ในหน้า support แยกต่างหาก แทนที่จะถูกรวมเข้าไปในหน้าเหล่านั้น ดังนั้นผู้เขียนที่อ่านหน้าแรกแล้วหยุดค้นคว้าต่อ ย่อมไม่มีเหตุผลที่จะรู้ว่าวิธีการเปลี่ยนไปภายในเวลาน้อยกว่าหนึ่งปีต่อมา

รีวิวเครื่องมือตรวจจับจากบุคคลที่สามที่เผยแพร่ในปี 2026 อ้างว่า GPTZero ยังใช้ perplexity และ burstiness เป็นเพียงหนึ่งชั้นในหลายชั้นภายในระบบที่ใหญ่กว่า ข้ออ้างดังกล่าวขัดแย้งโดยตรงกับหน้าเทคโนโลยีปัจจุบันของ GPTZero เองและเอกสารสนับสนุนของบริษัทเอง และไม่มีสิ่งใดบนเว็บไซต์ของ GPTZero เองที่ยืนยันข้ออ้างนั้น บริษัทที่อธิบายผลิตภัณฑ์ที่ตนส่งมอบออกไปแล้วย่อมมีน้ำหนักเหนือกว่าข้ออ้างจากบุคคลที่สามที่ไม่ได้รับการยืนยันเกี่ยวกับผลิตภัณฑ์เดียวกันนั้น แม้ว่าเอกสารของผู้ให้บริการเองก็อาจผิดได้เช่นกัน บทความนี้อิงตามหน้าของ GPTZero เอง มากกว่าการทบทวนที่เล่าเรื่องเดิมซ้ำ

สิ่งนี้หมายความว่าอย่างไรต่อวิธีการเขียนของคุณ

คำแนะนำเชิงปฏิบัติที่สร้างขึ้นรอบ burstiness ยังไม่ได้ไร้ประโยชน์ เพียงเพราะคำนั้นหายไปจากเนื้อหาของ GPTZero เอง การตั้งใจทำให้ความยาวประโยคหลากหลายยังคงเป็นข้อโต้แย้งในเชิงกลไกเกี่ยวกับการหลีกเลี่ยงความสม่ำเสมอทางสถิติแบบเดียวกันที่ตัวจำแนกมีแนวโน้มสูงว่าจะได้รับการฝึกให้สังเกต ไม่ว่าภายในจะเรียกสัญญาณนั้นว่าอะไร คำแนะนำพื้นฐานยังคงอยู่แม้สถาปัตยกรรมของผู้ให้บริการจะเปลี่ยนไปแล้วก็ตาม แม้ว่าศัพท์ที่ใช้อธิบายจะไม่คงเดิม

ทั้งหมดนี้ไม่จำเป็นต้องเชื่อคำพูดของใคร รวมทั้งของบทความนี้ด้วย เครื่องมือตรวจสอบ perplexity ฟรีของ TextPulse free perplexity checker และชุด free tools collection ที่กว้างกว่า ช่วยให้คุณดูได้ว่าร่างของคุณอยู่ตรงไหนก่อนที่ตัวตรวจจับ ไม่ว่าจะเป็นรุ่นใด จะทำงานเสียอีก

หากคำตอบทำให้คุณย้อนกลับไปดูงานเขียนของตนเอง ขั้นตอนถัดไปในทางปฏิบัติคือ การเพิ่ม burstiness อย่างตั้งใจ และ การทำให้ความยาวประโยคหลากหลายตลอดทั้งย่อหน้าเชิงวิชาการ ซึ่งเป็นงานเดียวกันที่อธิบายโดยไม่ใช้ตัวชี้วัด

กลไกที่ตัวตรวจจับใช้จะเปลี่ยนไปเรื่อย ๆ, GPTZero ได้เปลี่ยนมันไปแล้วครั้งหนึ่ง สิ่งที่คงที่คือคำถามที่แท้จริง ซึ่งอธิบายไว้อย่างครบถ้วนใน คู่มือของเว็บไซต์นี้เกี่ยวกับวิธีการทำงานจริงของ AI detectors: งานเขียนที่คาดเดาได้เหมือนกับงานเขียนที่สร้างโดยเครื่องจักรหรือไม่ โดยไม่ขึ้นกับว่าสูตรใดกำลังเป็นที่นิยมในปีใดปีหนึ่ง