Perplexity ในการตรวจจับ AI คืออะไร?

ค้นหา perplexity และการตรวจจับ AI พร้อมกัน แล้วผลลัพธ์อันดับต้น ๆ หลายรายการกลับเป็นเกี่ยวกับผลิตภัณฑ์ที่ไม่เกี่ยวข้อง, คือเครื่องมือค้นหาที่ขับเคลื่อนด้วย AI ซึ่งบังเอิญมีชื่อว่า Perplexity. ค่าที่ตัวตรวจจับรายงานจริง ๆ นั้นไม่ได้มีความเกี่ยวข้องกับบริษัทนั้นเลย นอกจากคำคำเดียวนี้ มันมาจากงานวิจัยด้านการรู้จำเสียงพูดที่เก่ากว่า GPTZero หรือเครื่องมือค้นหาหลายทศวรรษ และมันวัดสิ่งที่แคบกว่าทั้งสองอย่าง, คือระดับที่แบบจำลองภาษาเกิดความประหลาดใจกับคำที่มีอยู่แล้วบนหน้า

แล้ว perplexity ในการตรวจจับ AI คืออะไร? Perplexity คือคะแนนที่อธิบายว่าแบบจำลองภาษาทำนายคำที่ตรงตัวในข้อความตอนหนึ่งได้ดีเพียงใด, โดยได้มาจากการเฉลี่ยความน่าจะเป็นของแบบจำลองเองแล้วแปลงผลลัพธ์ให้เป็นตัวเลขเดียว คะแนนต่ำหมายความว่าแบบจำลองทายถูกต่อเนื่อง คะแนนสูงหมายความว่ามันถูกทำให้ประหลาดใจอยู่เรื่อย ๆ

แนวคิดนี้เก่ากว่าตัวตรวจจับ AI ใด ๆ ในตลาด และในตัวมันเองก็ไม่ได้บอกอะไรเลยว่าใครเป็นผู้เขียนเอกสาร เมื่อคณิตศาสตร์เบื้องหลังตัวเลขถูกเปิดเผย คะแนนในรายงานก็หยุดดูเหมือนคำตัดสิน และเริ่มดูเหมือนสิ่งที่มันเป็นจริง ๆ, คือคำอธิบายของการเลือกใช้คำ

perplexity ในการตรวจจับ AI คืออะไร?

Perplexity คือการวัดที่ยืมมาจากการสร้างแบบจำลองภาษา มันให้คะแนนว่าแบบจำลองทำนายคำเฉพาะที่ปรากฏในข้อความตอนหนึ่งได้ดีเพียงใด และรายงานคะแนนนั้นเป็นตัวเลขเดียว ตัวตรวจจับนำการวัดเดียวกันนี้ไปใช้กับเอกสารที่ส่งเข้ามา, ตัวเลขต่ำ, หมายความว่าการทายของแบบจำลองสอดคล้องกับคำจริงอย่างใกล้ชิด, ถูกอ่านว่าเป็นสัญลักษณ์ของการประพันธ์โดยเครื่องจักร, และตัวเลขสูงถูกอ่านว่าเป็นสัญลักษณ์ของการประพันธ์โดยมนุษย์ ไม่มีส่วนใดของการคำนวณที่อ่านข้อโต้แย้ง การอ้างอิง หรือเนื้อหาหัวข้อของเอกสาร มันอ่านเพียงว่าคำแต่ละคำคาดเดาได้มากน้อยเพียงใด, ทีละคำ

ตัวตรวจจับไม่ได้คิดค้นการวัดนี้ขึ้นมาเอง พวกมันยืมเครื่องมือที่ระบบการรู้จำเสียงพูดและการแปลด้วยเครื่องใช้มาหลายทศวรรษแล้ว เพื่อประเมินว่าแบบจำลองทำนายภาษาธรรมดาได้ดีเพียงใด แล้วนำมันมาใช้ใหม่เป็นตัวแทนของการประพันธ์, ซึ่งเป็นหน้าที่ที่มันไม่เคยถูกสร้างขึ้นมาเพื่อทำตั้งแต่แรก

ไม่มีสิ่งใดในนี้เกี่ยวข้องกับเครื่องมือค้นหาที่ไม่เกี่ยวข้องซึ่งกล่าวถึงก่อนหน้านี้เลย perplexity ที่ตัวตรวจจับรายงานนั้นไม่เคยเป็นชื่อบริษัทและไม่เคยเขียนด้วยอักษรตัวใหญ่, มันเป็นเพียงคุณสมบัติทางสถิติธรรมดาของลำดับคำ ซึ่งคำนวณใหม่จากข้อความใดก็ตามที่มันได้รับ

perplexity คำนวณจริงอย่างไร

การคำนวณนี้ย้อนกลับไปไกลกว่า AI product ใด ๆ Frederick Jelinek, Robert Mercer, Lalit Bahl และ James Baker ได้แนะนำ perplexity ในปี 1977 เพื่อวัดว่างานรู้จำเสียงพูดนั้นยากเพียงใดสำหรับแบบจำลองทางสถิติ หลายทศวรรษก่อนที่ใครจะนำคำนี้ไปใช้กับเรียงความหรือรายงานในห้องปฏิบัติการ คำจำกัดความนี้ไม่ได้เปลี่ยนแปลงมาตั้งแต่นั้น

ในแต่ละตำแหน่งของเอกสาร แบบจำลองจะส่งออกความน่าจะเป็นสำหรับคำที่ตามมาจริง, เช่น 0.72 สำหรับการเปลี่ยนผ่านที่พบได้บ่อย หรือ 0.03 สำหรับกรณีที่ไม่ปกติ perplexity จะหาค่าเฉลี่ยของลอการิทึมของความน่าจะเป็นเหล่านั้นตลอดทั้งข้อความ แล้วจึงย้อนค่าเฉลี่ยนั้นกลับด้วยเลขชี้กำลัง

เลขชี้กำลังใน there's ทำหน้าที่มากกว่าที่เห็น การหาค่าเฉลี่ยของลอการิทึมความน่าจะเป็นนั้นก็คือสิ่งที่เราทำเมื่อคำนวณ cross-entropy ซึ่งเป็นวิธีในเชิงทฤษฎีสารสนเทศในการบอกว่าคุณต้องใช้กี่บิตเพื่อเข้ารหัสลำดับหนึ่งเมื่อกำหนดการคาดการณ์ที่แบบจำลองทำไว้ แต่ perplexity แปลงจำนวนบิตนั้นกลับไปเป็นสิ่งที่เราเข้าใจได้ดีกว่า, คือจำนวนตัวเลือกที่มีผลจริง ไม่ใช่การนับบิตแบบนามธรรม

สิ่งที่เหลืออยู่จากคณิตศาสตร์นั้นมีความหมายที่ชัดเจนและเกือบเป็นเชิงกายภาพ แบบจำลองที่แน่ใจอย่างสมบูรณ์ทุกครั้งจะให้ perplexity เท่ากับ 1 ซึ่งเป็นค่าต่ำสุดของสเกล แบบจำลองที่มองทุกตำแหน่งว่าเป็นการสุ่มเลือกอย่างเท่าเทียมกันระหว่างคำที่มีโอกาสเท่ากันแปดสิบคำจะให้ perplexity เท่ากับ 80

เอกสารจริงส่วนใหญ่อยู่ระหว่างสองขั้วนั้น และอยู่ตรงไหนแน่ขึ้นอยู่กับผู้เขียน หัวข้อ และแบบจำลองใดที่เป็นผู้อ่าน

ทำไมงานเขียนของมนุษย์จึงมักได้คะแนนต่างออกไป

ความคาดหวังของแบบจำลองถูกสร้างขึ้นทั้งหมดจากสิ่งที่มาก่อนหน้า ทีละคำ หลังวลี 'the treatment group showed a statistically' การต่อความที่เป็นไปได้อย่างท่วมท้นส่วนใหญ่คือ 'significant' และแบบจำลองที่ฝึกจากงานเขียนเชิงวิทยาศาสตร์ปริมาณมากจะกำหนดความน่าจะเป็นสูงให้กับคำนั้นโดยไม่ลังเล ผู้เขียนมนุษย์ที่มาถึงวลีเดียวกันอาจลงเอยที่ 'significant' เช่นกัน เพราะวลีนี้เองเป็นองค์ประกอบประจำของแนวงานเขียนนั้น ช่องว่างจะเปิดออกที่อื่น, ในคำนามที่เลือกสองประโยคถัดมา, ในข้อความแทรกที่เพิ่มในวงเล็บ, ในตัวเลขที่รายงานด้วยทศนิยมที่แปลกแทนที่จะเป็นจำนวนกลม

ไม่มีสิ่งใดในนั้นเป็นกลอุบาย เมื่อบุคคลที่เขียนเกี่ยวกับข้อมูลจริงพยายามเลือกตัวเลขที่แม่นยำ, คำกำกับที่เฉพาะเจาะจง, หรือคำที่แคบลงเล็กน้อย, เขากำลังเอื้อมไปหาสิ่งที่เป็นจริงต่อผลงานนั้น มากกว่าสิ่งที่เป็นจริงต่อแนวงานเขียนนั้น และแต่ละทางเลือกเหล่านั้นทำให้แบบจำลองต้องเผชิญความประหลาดใจเพิ่มขึ้นอีกเล็กน้อย ความประหลาดใจคือสิ่งที่คะแนนถูกสร้างขึ้นมาเพื่อรวมสะสม

การอนุมานกำลังทำงานมากกว่าที่การวัดรองรับได้ Perplexity วัดความสามารถในการคาดเดาโดยตรง มันอนุมานการประพันธ์โดยอาศัยสมมติฐานว่า งานเขียนที่คาดเดาได้เป็นสิ่งที่พบได้น้อยในหมู่มนุษย์และพบได้ทั่วไปในหมู่แบบจำลอง สมมติฐานนี้โดยมากสมเหตุสมผล และบางครั้งก็ผิดในลักษณะเฉพาะที่ระบุได้ เพราะความคาดเดาได้เป็นคุณสมบัติที่ข้อความอาจมีได้ด้วยเหตุผลที่ไม่เกี่ยวข้องกับว่าใครเป็นผู้พิมพ์มัน

เหตุใดข้อความเดียวกันจึงได้คะแนนต่างกัน

คะแนนนี้ยังพกพาไปใช้ได้ยากกว่าที่ดูเหมือน เพราะมันไม่เคยถูกวัดในสุญญากาศ Perplexity ถูกคำนวณเทียบกับการฝึกของแบบจำลองอ้างอิงเฉพาะหนึ่งตัวเสมอ และความพึ่งพานั้นก่อให้เกิดปัญหาที่คำนิยามเพียงหนึ่งเดียวไม่อาจแสดงให้เห็นได้ด้วยตัวมันเอง

ปัจจัย	สิ่งที่เปลี่ยนแปลง	เหตุผลที่เกิดขึ้น
โมเดลใดเป็นผู้ทำการอ่าน	ย่อหน้าเดียวกันอาจได้คะแนนต่ำในโมเดลหนึ่ง และได้คะแนนสูงในอีกโมเดลหนึ่ง	Perplexity วัดได้เพียงเทียบกับข้อมูลการฝึกของโมเดลหนึ่งเท่านั้น และโมเดลต่างกันก็ได้รับการฝึกด้วยข้อความคนละชุด
ข้อความนั้นเป็นข้อความที่ถูกทำซ้ำอย่างแพร่หลายหรือไม่	เอกสารประวัติศาสตร์ที่มีชื่อเสียงหรือคำนิยามในตำราเรียนอาจได้คะแนน perplexity ต่ำ แม้จะมีคนพิมพ์ทุกคำของมันลงในตัวตรวจจับก็ตาม	Pangram Labs ยกคำประกาศอิสรภาพเป็นตัวอย่าง, ข้อความนี้ถูกอ้างถึงบ่อยมากในข้อมูลการฝึก จนโมเดลมองว่าทุกประโยคของมันไม่น่าประหลาดใจ
ตัวตรวจจับสามารถเห็นความน่าจะเป็นของโทเคนได้หรือไม่	โมเดลเชิงพาณิชย์แบบปิด เช่น ChatGPT, Gemini และ Claude ไม่เปิดเผยความน่าจะเป็นรายคำที่ perplexity ต้องใช้	ตัวตรวจจับประมาณค่าคะแนนด้วยโมเดลเปิดที่ใช้แทน แทนที่จะคำนวณ perplexity เทียบกับโมเดลที่สร้างข้อความนั้นจริง

ทั้งหมดนี้ไม่ได้ทำให้ตัวเลขไร้ความหมาย เพียงแต่ทำให้เชื่อถือได้ยากขึ้นหากใช้เป็นคำตัดสินเพียงลำพัง เอกสารประกอบของ GPTZero เองเคยเผยแพร่กฎคร่าว ๆ ว่า perplexity ที่สูงกว่า 85 อ่านได้ว่าเป็นมนุษย์มากกว่า แต่เกณฑ์ของผู้ให้บริการรายเดียวบนโมเดลหนึ่งไม่สามารถนำไปใช้กับเครื่องมืออื่นที่วัดเทียบกับอีกโมเดลหนึ่งได้ ตัวตรวจจับที่รายงานคะแนนเพียงค่าเดียวกำลังบีบอัดปัจจัยทั้งหมดข้างต้นให้เหลือเป็นตัวเลขเดียว โดยไม่บอกว่าปัจจัยใดเป็นตัวทำงาน

คะแนน perplexity บอกอะไรคุณได้จริง

ตัวตรวจจับเชิงพาณิชย์จะนำ perplexity ไปรวมกับรูปแบบระดับประโยค การฝึกตัวจำแนก และสัญญาณอื่น ๆ อีกหลายอย่าง ก่อนที่จะพิมพ์ตัวเลขเพียงค่าเดียวลงในรายงาน ภาพรวมที่ครบถ้วนของ ตัวตรวจจับ AI ทำงานอย่างไรจริง ๆ มีอธิบายแยกไว้ต่างหาก และอธิบายว่าตัวเลขส่วนนอกนั้นมาจากที่ใด

จังหวะระหว่างประโยคเป็นสัญญาณที่เกี่ยวข้องแต่แยกต่างหาก ซึ่ง burstiness checker พิจารณาในฐานะของมันเอง และมองไปที่ระดับความแปรผันตลอดทั้งข้อความ มากกว่าจะดูที่คำใดคำหนึ่งเพียงคำเดียว

ไม่มีตัวเลขใดเหล่านี้ที่สามารถพิสูจน์ได้ว่าใครเป็นผู้เขียนเอกสาร รวมถึง Human Score โดยประมาณที่ TextPulse คำนวณจากร่างที่ส่งเข้ามา ซึ่งอธิบายลักษณะของข้อความมากกว่าจะตัดสินชี้ขาดเกี่ยวกับข้อความนั้น เวอร์ชันที่เรียบง่ายของแนวคิดเดียวกันนี้ คือความหลากหลายของคำศัพท์แทนที่จะเป็นความน่าจะเป็นของโมเดลเต็มรูปแบบ เป็นพลังขับเคลื่อน free perplexity checker บนเว็บไซต์นี้ ซึ่งคุ้มค่าที่จะลองกับย่อหน้าที่ทราบที่มาอยู่แล้ว ก่อนจะเชื่อสิ่งที่รายงานกล่าวเกี่ยวกับของคนอื่น

perplexity checker อยู่เคียงข้าง free tools อื่น ๆ ของ TextPulse ดังนั้นการตรวจร่างฉบับเต็ม, คำศัพท์, จังหวะ และทุกอย่างอื่น จึงไม่จำเป็นต้องเปิดแท็บแยกกันเป็นสิบแท็บพร้อมกัน

Perplexity เป็นหนึ่งในสถิติสองอย่างที่ระบบเหล่านี้อาศัย อีกอย่างคือ burstiness, ความแปรผันของความยาวและโครงสร้างประโยค ตลอดทั้งข้อความ และภายใต้ทั้งสองอย่างนี้คือ คณิตศาสตร์ของความน่าจะเป็นของโทเคน ที่สร้างคะแนนขึ้นมาตั้งแต่แรก

ตัวเลขบนรายงานเป็นจุดสิ้นสุดของห่วงโซ่คณิตศาสตร์อันยาว ไม่ใช่จุดเริ่มต้นของข้อโต้แย้งว่าใครเป็นผู้เขียนบางสิ่ง คำถามที่น่าสนใจกว่า เมื่อคณิตศาสตร์ไม่ใช่สิ่งลึกลับอีกต่อไป คืออะไรโดยเฉพาะที่ทำให้เอกสารหนึ่งดูน่าประหลาดใจหรือคาดเดาได้ตั้งแต่แรก และนั่นเป็นคำถามเกี่ยวกับตัวงานเขียนเอง