Perplexity ในการตรวจจับ AI คืออะไร?

ค้นหา perplexity และการตรวจจับ AI พร้อมกัน แล้วผลลัพธ์อันดับต้น ๆ หลายรายการกลับเป็นเกี่ยวกับผลิตภัณฑ์ที่ไม่เกี่ยวข้อง, คือเครื่องมือค้นหาที่ขับเคลื่อนด้วย AI ซึ่งบังเอิญมีชื่อว่า Perplexity ด้วย ค่าที่ตัวตรวจจับรายงานจริง ๆ นั้นไม่ได้มีความเกี่ยวข้องกับบริษัทนั้นเลย นอกจากคำดังกล่าว ค่านี้มาจากงานวิจัยด้านการรู้จำเสียงที่เก่ากว่า GPTZero หรือเครื่องมือค้นหาหลายทศวรรษ และมันวัดสิ่งที่แคบกว่าทั้งสองอย่าง, คือระดับที่แบบจำลองภาษาแปลกใจกับคำที่มีอยู่แล้วบนหน้า

แล้ว perplexity ในการตรวจจับ AI คืออะไร? Perplexity คือคะแนนที่อธิบายว่าแบบจำลองภาษาทำนายคำที่แน่นอนในข้อความตอนหนึ่งได้ดีเพียงใด โดยคำนวณจากการเฉลี่ยความน่าจะเป็นของแบบจำลองเองแล้วแปลงผลลัพธ์เป็นตัวเลขเดียว คะแนนต่ำหมายความว่าแบบจำลองทายถูกต่อเนื่อง คะแนนสูงหมายความว่าแบบจำลองถูกทำให้ประหลาดใจต่อเนื่อง

แนวคิดนี้เก่ากว่า AI detector ใด ๆ ในตลาด และในตัวมันเองไม่ได้บอกอะไรเลยว่าใครเป็นผู้เขียนเอกสาร เมื่อคณิตศาสตร์ที่อยู่เบื้องหลังตัวเลขนั้นมองเห็นได้ คะแนนในรายงานก็จะหยุดดูเหมือนคำตัดสิน และเริ่มดูเหมือนสิ่งที่มันเป็นจริง ๆ, คือคำอธิบายของการเลือกคำ

perplexity ในการตรวจจับ AI คืออะไร?

Perplexity เป็นการวัดที่ยืมมาจากการสร้างแบบจำลองภาษา โดยให้คะแนนว่ารูปแบบสามารถทำนายคำเฉพาะที่ปรากฏในข้อความได้ดีเพียงใด และรายงานคะแนนนั้นเป็นตัวเลขเพียงค่าเดียว ตัวตรวจจับนำการวัดเดียวกันนี้มาใช้กับเอกสารที่ส่งเข้ามา, ค่าต่ำ, ซึ่งหมายความว่าการคาดเดาของรูปแบบสอดคล้องกับคำจริงอย่างใกล้ชิด, ถูกอ่านว่าเป็นสัญญาณของการประพันธ์โดยเครื่อง, และค่าที่สูงถูกอ่านว่าเป็นสัญญาณของการประพันธ์โดยมนุษย์ ไม่มีส่วนใดของการคำนวณนี้ที่อ่านข้อโต้แย้งของเอกสาร การอ้างอิง หรือเนื้อหาหัวข้อของเอกสาร มันอ่านเพียงว่าคำแต่ละคำคาดหมายได้มากเพียงใด ทีละคำ

ตัวตรวจจับไม่ได้ประดิษฐ์การวัดนี้ขึ้นมาเอง พวกมันยืมเครื่องมือที่ระบบรู้จำเสียงพูดและการแปลด้วยเครื่องใช้มานานหลายทศวรรษเพื่อประเมินว่ารูปแบบทำนายภาษาธรรมดาได้ดีเพียงใด แล้วนำมาปรับใช้เป็นตัวแทนของการประพันธ์ ซึ่งเป็นงานที่มันไม่ได้ถูกสร้างขึ้นมาเพื่อทำตั้งแต่แรก

ทั้งหมดนี้ไม่มีความเกี่ยวข้องกับเครื่องมือค้นหาที่ไม่เกี่ยวข้องซึ่งกล่าวถึงก่อนหน้า Perplexity ที่ตัวตรวจจับรายงานไม่เคยเป็นบริษัทและไม่เคยเขียนด้วยตัวพิมพ์ใหญ่, มันเป็นเพียงคุณสมบัติทางสถิติธรรมดาของลำดับคำ ซึ่งคำนวณขึ้นใหม่จากข้อความใดก็ตามที่ได้รับ

Perplexity คำนวณจริงอย่างไร

การคำนวณนี้ย้อนกลับไปไกลกว่าผลิตภัณฑ์ AI ใดๆ Frederick Jelinek, Robert Mercer, Lalit Bahl และ James Baker ได้นำเสนอ perplexity ในปี 1977 เพื่อวัดว่างานรู้จำเสียงพูดสำหรับแบบจำลองทางสถิตินั้นยากเพียงใด, หลายทศวรรษก่อนที่ใครจะนำคำนี้ไปใช้กับเรียงความหรือรายงานในห้องปฏิบัติการ คำจำกัดความนี้ไม่ได้เปลี่ยนแปลงมาตั้งแต่นั้น

ในแต่ละตำแหน่งในเอกสาร แบบจำลองจะส่งออกความน่าจะเป็นสำหรับคำที่ตามมาจริง เช่น 0.72 สำหรับการเปลี่ยนผ่านที่พบได้บ่อย หรือ 0.03 สำหรับการเปลี่ยนผ่านที่ไม่ปกติ Perplexity จะหาค่าเฉลี่ยของลอการิทึมของความน่าจะเป็นเหล่านั้นตลอดทั้งข้อความ แล้วกลับค่าเฉลี่ยนั้นด้วยเลขชี้กำลัง

เลขชี้กำลังใน there's ทำงานมากกว่าที่เห็น การหาค่าเฉลี่ยของความน่าจะเป็นแบบลอการิทึมคือสิ่งที่เราทำพอดีเมื่อคำนวณ cross-entropy ซึ่งเป็นวิธีเชิงทฤษฎีสารสนเทศในการบอกว่าคุณต้องใช้กี่บิตเพื่อเข้ารหัสลำดับหนึ่ง เมื่อกำหนดการคาดการณ์ที่ model ทำไว้ แต่ perplexity แปลงจำนวนบิตกลับไปเป็นสิ่งที่เราเข้าใจได้ดีกว่า, คือจำนวนตัวเลือกที่มีผลจริง แทนที่จะเป็นการนับบิตแบบนามธรรม

สิ่งที่เหลืออยู่จากคณิตศาสตร์นั้นมีความหมายที่ชัดเจนและเกือบเป็นเชิงกายภาพ model ที่แน่นอนอย่างสมบูรณ์ทุกครั้งจะให้ perplexity เท่ากับ 1 ซึ่งเป็นค่าต่ำสุดของสเกล model ที่มองทุกตำแหน่งเป็นการเสี่ยงทายที่เท่าเทียมกันระหว่างคำ 80 คำที่มีโอกาสเกิดเท่ากัน จะให้ perplexity เท่ากับ 80

เอกสารจริงส่วนใหญ่อยู่ระหว่างสองขั้วนี้ และตำแหน่งที่แน่นอนขึ้นอยู่กับผู้เขียน หัวข้อ และ model ใดเป็นผู้ทำการอ่าน

เหตุใดงานเขียนของมนุษย์จึงมักได้คะแนนต่างออกไป

ความคาดหมายของ model ถูกสร้างขึ้นทั้งหมดจากสิ่งที่มาก่อนหน้า ทีละคำ หลังวลี 'the treatment group showed a statistically', ส่วนต่อที่เป็นไปได้อย่างท่วมท้นและถูกต้องตามรูปแบบคือ 'significant', และ model ที่ฝึกจากงานเขียนเชิงวิทยาศาสตร์ปริมาณมากจะกำหนดความน่าจะเป็นสูงให้คำนี้โดยไม่ลังเล ผู้เขียนมนุษย์ที่มาถึงวลีเดียวกันอาจลงเอยที่ 'significant' เช่นกัน เพราะวลีนี้เองเป็นองค์ประกอบประจำของแนวงานเขียนนั้น ช่องว่างจะเปิดออกในที่อื่น, ในคำนามที่เลือกสองประโยคถัดมา, ในข้อความแทรกที่ใส่ไว้ในวงเล็บ, ในตัวเลขที่รายงานด้วยทศนิยมแปลก ๆ แทนที่จะเป็นจำนวนกลม

ไม่มีสิ่งใดในนั้นเป็นกลอุบาย เมื่อคนที่เขียนเกี่ยวกับข้อมูลจริงพยายามจะหยิบยกตัวเลขที่แม่นยำ คำกำกับที่เฉพาะเจาะจง หรือคำที่แคบลงเล็กน้อย พวกเขากำลังหยิบยกสิ่งที่เป็นจริงต่อผลงานนั้น แทนที่จะเป็นจริงต่อแนวงานเขียนนั้น และทุกการเลือกเช่นนั้นทำให้ model ต้องประหลาดใจมากขึ้นเล็กน้อย ความประหลาดใจคือสิ่งที่คะแนนถูกออกแบบมาเพื่อรวมสะสม

การอนุมานกำลังทำงานมากกว่าที่การวัดจะรองรับได้ Perplexity วัดความคาดเดาได้โดยตรง มันอนุมานการเป็นผู้เขียนได้ก็โดยอาศัยสมมติฐานว่าการเขียนที่คาดเดาได้เป็นสิ่งที่พบได้น้อยในมนุษย์และพบได้บ่อยในโมเดล สมมติฐานนี้โดยทั่วไปสมเหตุสมผล และบางครั้งก็ผิดในลักษณะเฉพาะที่ระบุได้ เพราะความคาดเดาได้เป็นคุณสมบัติที่ข้อความอาจมีได้ด้วยเหตุผลที่ไม่เกี่ยวข้องกับว่าใครเป็นผู้พิมพ์มัน

เหตุใดข้อความเดียวกันจึงได้คะแนนต่างกัน

คะแนนนี้ยังพกพาไปใช้ได้น้อยกว่าที่เห็น เพราะมันไม่เคยถูกวัดในสุญญากาศ Perplexity ถูกคำนวณเทียบกับการฝึกของโมเดลอ้างอิงเฉพาะหนึ่งตัวเสมอ และการพึ่งพานั้นก่อให้เกิดปัญหาที่คำนิยามเดียวไม่อาจแสดงได้ด้วยตัวมันเอง

ปัจจัย	สิ่งที่เปลี่ยนไป	เหตุผลที่เกิดขึ้น
โมเดลใดเป็นผู้ทำการอ่าน	ย่อหน้าเดียวกันอาจได้คะแนนต่ำในโมเดลหนึ่งและสูงในอีกโมเดลหนึ่ง	Perplexity ถูกวัดเทียบกับข้อมูลฝึกของโมเดลเพียงหนึ่งตัวเท่านั้น และโมเดลต่าง ๆ ได้รับการฝึกด้วยข้อความคนละชุด
ข้อความนั้นเป็นข้อความที่ถูกทำซ้ำอย่างแพร่หลายหรือไม่	เอกสารประวัติศาสตร์ที่มีชื่อเสียงหรือคำนิยามในตำราเรียนอาจได้คะแนน perplexity ต่ำ แม้ว่ามนุษย์จะพิมพ์ทุกคำของมันลงในตัวตรวจจับก็ตาม	Pangram Labs ชี้ไปที่ Declaration of Independence เป็นตัวอย่าง, เพราะมันถูกอ้างถึงบ่อยมากในข้อมูลฝึกจนโมเดลไม่รู้สึกแปลกใจกับทุกประโยคของมัน
ตัวตรวจจับสามารถเห็นความน่าจะเป็นของโทเคนได้หรือไม่	โมเดลเชิงพาณิชย์แบบปิด เช่น ChatGPT, Gemini และ Claude ไม่เปิดเผยความน่าจะเป็นรายคำที่ perplexity ต้องใช้	ตัวตรวจจับประมาณค่าคะแนนด้วยโมเดลเปิดที่ใช้แทน แทนที่จะคำนวณ perplexity เทียบกับโมเดลที่สร้างข้อความนั้นจริง

ทั้งหมดนี้ไม่ได้ทำให้ตัวเลขนั้นไร้ความหมาย เพียงแต่ทำให้เสี่ยงมากขึ้นที่จะเชื่อถือมันในฐานะข้อสรุปเพียงอย่างเดียว เอกสารประกอบของ GPTZero เอง เคยเผยแพร่กฎคร่าว ๆ ว่า perplexity ที่มากกว่า 85 มีแนวโน้มจะเป็นงานของมนุษย์มากกว่า แต่เกณฑ์ของผู้ให้บริการรายหนึ่งบนโมเดลหนึ่งไม่สามารถถ่ายโอนไปยังเครื่องมืออีกตัวที่วัดเทียบกับอีกตัวหนึ่งได้ เครื่องตรวจจับที่รายงานคะแนนเพียงค่าเดียวกำลังบีบอัดปัจจัยทั้งหมดข้างต้นให้เหลือเป็นตัวเลขเดียว โดยไม่บอกว่าปัจจัยใดเป็นตัวที่มีบทบาทจริง

คะแนน perplexity บอกอะไรได้จริง

เครื่องตรวจจับเชิงพาณิชย์จะผสาน perplexity เข้ากับรูปแบบระดับประโยค การฝึกสอนตัวจำแนก และสัญญาณอื่น ๆ อีกหลายอย่าง ก่อนที่จะพิมพ์ตัวเลขเพียงค่าเดียวลงในรายงาน ภาพรวมที่ครบถ้วนยิ่งขึ้นของ เครื่องตรวจจับ AI ทำงานจริงอย่างไร ได้อธิบายแยกไว้ต่างหาก และอธิบายว่าตัวเลขนั้นส่วนที่เหลือมาจากไหน

จังหวะระหว่างประโยคเป็นสัญญาณที่เกี่ยวข้องกันแต่แยกต่างหาก ซึ่ง burstiness checker อธิบายไว้ในฐานะของมันเอง และมันพิจารณาว่ามีความแปรผันมากเพียงใดตลอดทั้งข้อความ แทนที่จะดูที่คำใดคำหนึ่ง

ไม่มีตัวเลขใดเหล่านี้สามารถพิสูจน์ได้ว่าใครเป็นผู้เขียนเอกสาร รวมถึง Human Score โดยประมาณที่ TextPulse คำนวณจากร่างที่ส่งเข้ามา ซึ่งอธิบายลักษณะของข้อความมากกว่าการตัดสินข้อความนั้น เวอร์ชันที่ทำให้ง่ายลงของแนวคิดเดียวกัน คือความหลากหลายของคำศัพท์แทนที่จะเป็นความน่าจะเป็นของโมเดลเต็มรูปแบบ เป็นพลังขับเคลื่อน free perplexity checker บนเว็บไซต์นี้ ซึ่งควรลองใช้กับย่อหน้าที่ทราบที่มาอยู่แล้ว ก่อนที่จะเชื่อสิ่งที่รายงานกล่าวเกี่ยวกับงานของคนอื่น

perplexity checker อยู่เคียงข้าง free tools อื่น ๆ ของ TextPulse ดังนั้นการตรวจร่างฉบับหนึ่งอย่างครบถ้วน ทั้งคำศัพท์ จังหวะ และทุกอย่างที่เหลือ จึงไม่จำเป็นต้องเปิดแท็บแยกกันเป็นสิบ ๆ แท็บพร้อมกัน

Perplexity เป็นหนึ่งในสถิติสองอย่างที่ระบบเหล่านี้อาศัย อีกอย่างคือ burstiness, ความแปรผันของความยาวและโครงสร้างประโยค ตลอดทั้งข้อความ และเบื้องหลังทั้งสองอย่างนี้คือ คณิตศาสตร์ของความน่าจะเป็นของโทเคน ที่เป็นตัวสร้างคะแนนตั้งแต่แรก

ตัวเลขในรายงานเป็นผลลัพธ์สุดท้ายของห่วงโซ่การคำนวณที่ยาว ไม่ใช่จุดเริ่มต้นของข้อโต้แย้งว่าใครเป็นผู้เขียนสิ่งใด คำถามที่น่าสนใจกว่าคือ เมื่อการคำนวณไม่เป็นเรื่องลึกลับอีกต่อไป อะไรโดยเฉพาะที่ทำให้เอกสารหนึ่งน่าประหลาดใจหรือคาดเดาได้ตั้งแต่แรก และนั่นคือคำถามเกี่ยวกับตัวงานเขียนเอง