ความน่าจะเป็นของโทเคนและลอคไลก์ลิฮูดในการตรวจจับ AI

หากคุณถามตัวตรวจจับว่ามันได้คะแนนนั้นมาอย่างไร ส่วนติดต่อผู้ใช้ส่วนใหญ่จะให้คำตอบเดียวกันแก่คุณ, คือย่อหน้าหนึ่งที่มีบางคำถูกแรเงาเข้มกว่าคำอื่น การแรเงานั้นไม่ใช่การคาดเดา แต่มาจากตัวเลขที่ผูกกับแต่ละโทเคนในข้อความ ซึ่งคำนวณก่อนที่ตัวตรวจจับจะสัมผัส perplexity, burstiness หรือเปอร์เซ็นต์สุดท้ายเสียอีก

นั่นคือความน่าจะเป็นของโทเคน และการตรวจจับ ai ด้วยความน่าจะเป็นของโทเคนทุกกรณีตั้งอยู่บนสิ่งนั้นตั้งแต่ฐานราก ตัวชี้วัดจำนวนใดก็ตามที่ตัวตรวจจับรายงานได้, รวมถึงสองตัวที่เราอธิบายไว้ที่อื่นในเว็บไซต์นี้, ก็เป็นเพียงคณิตศาสตร์ที่กระทำกับชุดของตัวเลขเหล่านี้ ชั้นที่อยู่ใต้ชั้นซึ่งคำอธิบายส่วนใหญ่หยุดอยู่ตรงนั้น คือจุดที่คุณต้องคิดว่าโทเคนจริงๆ คืออะไร การกระจายของโมเดลที่มีต่อโทเคนนั้นหมายถึงอะไร และเหตุใดคณิตศาสตร์จึงทำงานใน log space แทนที่จะใช้ความน่าจะเป็นดิบ คำอธิบายส่วนใหญ่หยุดอยู่ตรงนั้น

ทั้งหมดนี้ไม่จำเป็นต้องคงความคลุมเครือไว้ โทเคน การกระจายความน่าจะเป็น และลอการิทึม เป็นเครื่องมือธรรมดา ไม่ใช่ความลับเฉพาะกรรมสิทธิ์ และแนวคิดสามอย่างเดียวกันนี้อธิบาย วิธีที่ AI detectors ทำงานจริง ตั้งแต่ข้อความดิบไปจนถึงตัวเลขตัวเดียวในรายงาน

การตรวจจับ ai ด้วยความน่าจะเป็นของโทเคน, จากการกระจายไปสู่คะแนน

การตรวจจับ ai ด้วยความน่าจะเป็นของโทเคนทำงานเป็นสามขั้นตอน โมเดลภาษาให้ความน่าจะเป็นแก่โทเคนถัดไปที่เป็นไปได้ทุกตัว โดยอิงจากสิ่งที่มาก่อนหน้า ความน่าจะเป็นรายโทเคนเหล่านั้นถูกแปลงเป็นลอการิทึมและนำมาบวกกันตลอดทั้งข้อความ ซึ่งช่วยหลีกเลี่ยงปัญหาทางตัวเลขที่การคูณแบบดิบจะเผชิญเกือบจะในทันที ผลรวมที่ได้ เมื่อเฉลี่ยและปรับสเกลแล้ว คือสิ่งที่ในที่สุดปรากฏออกมาเป็นค่าของ perplexity หรือป้อนเข้าสู่การตัดสินของตัวจำแนก แต่ละขั้นตอนเป็นส่วนของคณิตศาสตร์ที่เฉพาะเจาะจงและตรวจสอบได้ ไม่ใช่กล่องดำ

โทเคนจริงๆ คืออะไร

โทเคนไม่ใช่คำ โมเดลภาษาสมัยใหม่แบ่งข้อความออกเป็นชิ้นส่วนย่อยกว่าคำด้วยอัลกอริทึม เช่น byte-pair encoding ดังนั้นคำที่พบบ่อยอย่าง 'the' มักจะเป็นโทเคนเดียว คำที่พบน้อยกว่าอย่าง 'perplexity' จะแบ่งออกเป็นสองหรือสามชิ้น และชื่อที่ไม่คุ้นเคยอาจแตกออกเป็นอักขระทีละตัว ข้อความภาษาอังกฤษทั่วไปจะถูกแปลงเป็นโทเคนได้อย่างน่าเชื่อถือเป็นชิ้นส่วนมากกว่าจำนวนคำ ซึ่งเป็นสิ่งที่ควรรู้ก่อนจะเชื่อจำนวนคำใด ๆ ที่เครื่องมือรายงานกลับมาให้คุณ

โมเดลไม่เคยมองเห็นคำในแบบที่ผู้อ่านมองเห็น มันมองเห็นลำดับของจำนวนเต็ม โดยแต่ละจำนวนเป็นดัชนีอ้างอิงไปยังคลังคำคงที่ที่โมเดลถูกฝึกด้วย ทุกอย่างที่ token probability ai detection ทำจากจุดนี้ต่อไปดำเนินการบนลำดับจำนวนเต็มนั้น ไม่ใช่บนสตริงตัวอักษรต้นฉบับ ซึ่งเป็นส่วนหนึ่งที่ทำให้การทำงานภายในของตัวตรวจจับดูเหมือนแยกขาดจากวิธีที่คนอ่านประโยคจริง ๆ

การแจกแจงของโมเดลต่อโทเคนถัดไป

ในทุกตำแหน่งของลำดับ โมเดลภาษาชนิด autoregressive ไม่ได้ให้ผลลัพธ์เป็นการคาดการณ์เพียงหนึ่งค่า แต่มันให้การแจกแจงความน่าจะเป็นเต็มรูปแบบครอบคลุมคลังคำทั้งหมดของมัน ซึ่งเป็นตัวเลขนับหมื่นที่รวมกันได้หนึ่ง โดยจัดอันดับโทเคนถัดไปที่เป็นไปได้ทุกตัวจากน่าจะเป็นมากที่สุดไปน้อยที่สุด เมื่อพิจารณาจากทุกอย่างที่มาก่อนหน้า หากป้อนวลี 'the results of the' ให้โมเดล มันจะแจกจ่ายมวลความน่าจะเป็นส่วนใหญ่ไปยังคำนามที่เป็นไปได้ไม่กี่คำ เช่น 'study,' 'experiment,' 'analysis,' ขณะเดียวกันก็ให้สัดส่วนที่น้อยจนแทบเป็นศูนย์แก่สิ่งอย่าง 'marmalade.'

โทเคนที่ปรากฏถัดไปจริงในเอกสารจริงจะไปอยู่ที่ตำแหน่งใดตำแหน่งหนึ่งในอันดับนั้น และความน่าจะเป็นที่กำหนดให้กับมันคือวัตถุดิบที่ทุกอย่างอื่นสร้างขึ้นจากมัน โมเดลที่สร้างข้อความของตนเองสามารถอาศัยการแจกแจงนี้ได้โดยตรง โดยเลือกซ้ำ ๆ จากบริเวณใกล้ด้านบนสุด ตัวตรวจจับที่อ่านข้อความที่เสร็จแล้วของผู้อื่นทำได้เพียงถามภายหลังว่า โมเดลจะให้ความน่าจะเป็นแก่ตัวเลือกที่ถูกเลือกจริงมากเพียงใด

ความน่าจะเป็นของลำดับทั้งหมดคือผลคูณของความน่าจะเป็นของแต่ละโทเคนเมื่อกำหนดทุกสิ่งที่มาก่อนหน้าไว้แล้ว, หากเราต่อคำถามรายโทเคนนั้นตลอดทั้งเอกสารโดยใช้กฎมาตรฐานสำหรับความน่าจะเป็นร่วม, ผลลัพธ์สุดท้ายจะเป็นจำนวนเดียวที่อธิบายว่าข้อความทั้งตอนนั้นคาดหมายได้เพียงใด ผลคูณนี้เองที่ทำให้คณิตศาสตร์เริ่มใช้การไม่ได้, ซึ่งเป็นเหตุผลที่ส่วนถัดไปมีอยู่

เหตุใด Log-Likelihood จึงมาแทนความน่าจะเป็นดิบ

การคูณความน่าจะเป็นเข้าด้วยกันนั้นถูกต้องทางคณิตศาสตร์ แต่ใช้การไม่ได้ในทางปฏิบัติเมื่อเกินไปไม่กี่สิบโทเคน ความน่าจะเป็นแต่ละค่าคือเศษส่วนที่น้อยกว่าหนึ่ง, ดังนั้นผลคูณที่คำนวณต่อเนื่องจะลดลงทุกครั้งที่มีโทเคนใหม่ถูกคูณเข้าไป, และลดลงอย่างรวดเร็ว เมื่อผ่านไปไม่กี่ร้อยโทเคน, ผลคูณดิบอาจลดต่ำกว่าจำนวนที่เล็กที่สุดซึ่งคอมพิวเตอร์สามารถแทนค่าได้จนถูกปัดลงเป็นศูนย์พอดี, ซึ่งเป็นโหมดความล้มเหลวที่เรียกว่า underflow

เมื่อเป็นเช่นนั้น, ตัวเลขนั้นก็ไม่เหลือข้อมูลใดเลย เอกสารที่เพียงไม่น่าจะเป็นไปได้กับเอกสารที่ไม่น่าจะเป็นไปได้อย่างยิ่งจนไร้ระเบียบต่างก็ยุบเหลือศูนย์เดียวกัน, โดยไม่มีทางแยกออกจากกันได้ภายหลัง ลอการิทึมแก้ปัญหานี้ได้เพราะลอการิทึมของผลคูณเท่ากับผลบวกของลอการิทึม, ซึ่งเป็นเอกลักษณ์จากพีชคณิตพื้นฐาน การบวกชุดของจำนวนลบธรรมดาไม่เกิด underflow เหมือนการคูณชุดของเศษส่วนเล็ก ๆ และยังคำนวณได้ถูกกว่าด้วย

ความยาวของข้อความ, แบบยกตัวอย่าง	ความน่าจะเป็นดิบ, ผลคูณที่คำนวณต่อเนื่อง	ผลรวมของ log-probabilities
12 โทเคนที่สมมติว่าแต่ละตัวมีค่า 0.1	1 x 10 to the power of -12, ยังแทนค่าได้	ประมาณ -27.6
350 โทเคนที่สมมติว่าแต่ละตัวมีค่า 0.1	1 x 10 to the power of -350, underflows to exactly 0	ประมาณ -805.9

นี่เป็นภาพประกอบแบบย่อ ความน่าจะเป็นรายโทเคนจริงแตกต่างกันอย่างมาก แทนที่จะคงอยู่ที่ 0.1 แบบราบเรียบ แต่ทิศทางของปัญหานั้นถูกต้องอย่างยิ่ง เมื่อผลคูณดิบเกิด underflow จนเป็นศูนย์ การเปรียบเทียบที่ตัวตรวจจับต้องใช้จริง, คือเอกสารนี้คาดหมายได้มากหรือน้อยกว่าเอกสารนั้น, ก็จะกลายเป็นไปไม่ได้ ผลรวมของ log-probabilities ไม่ล้มเหลวในลักษณะนั้น มันยังคงเป็นตัวเลขที่แม่นยำ ปกติ และเปรียบเทียบได้ ไม่ว่าข้อความจะยาวเพียงใด ซึ่งเป็นเหตุผลที่แท้จริงว่าทำไมการตรวจจับจึงถูกวัดใน log space แทนที่จะเป็น raw probability space

จากคะแนนรายโทเคนไปสู่คะแนนการตรวจจับ

การรวม log-probabilities ตลอดทั้งข้อความทำให้ได้ total log-likelihood ของเอกสารภายใต้ reference model การหารด้วยจำนวนโทเคนจะตัดผลของความยาวออกไป และเหลือ average log-likelihood ต่อโทเคน ซึ่งเป็นตัวเลขที่ในที่สุดก็เปรียบเทียบได้ระหว่างเรียงความ 500 คำกับบทหนึ่งของวิทยานิพนธ์ 5,000 คำ นำค่าเฉลี่ยนั้นไปทำให้เป็นค่าลบแล้ว exponentiate ผลที่ได้คือ perplexity score ซึ่งเป็นเมตริกที่กลุ่มนี้อธิบายไว้อย่างครบถ้วนในบทความแยกเกี่ยวกับ perplexity วัดอะไรจริง ๆ

ตัวเลขรายประโยคชุดเดียวกันนี้ เมื่อใช้ติดตามความแปรผันตลอดทั้งเอกสารแทนที่จะถูกรวมให้แบนเป็นค่าเฉลี่ยเดียว คือ สิ่งที่ burstiness สร้างขึ้นจาก ซึ่งเป็นสัญญาณที่เกี่ยวข้องแต่แยกจาก perplexity ทั้งสองเริ่มจากตัวเลขรายโทเคนชุดเดียวกันตามที่อธิบายไว้ข้างต้น เพียงแต่คำนวณต่อจากนั้นต่างกัน

ค่าเฉลี่ยอย่างง่ายไม่ใช่วิธีเดียวในการใช้วัตถุดิบดิบนี้ และงานวิจัยก็พัฒนาไปไกลกว่านั้นแล้ว DetectGPT ซึ่งตีพิมพ์ใน ICML 2023 โดย Mitchell, Lee, Khazatsky, Manning และ Finn ทำงานจากคุณสมบัติอีกแบบหนึ่งของฟังก์ชันความน่าจะเป็นเดียวกันนี้, ข้อความที่สุ่มตัวอย่างจาก language model มักจะอยู่ในบริเวณที่การเรียบเรียงใหม่เล็กน้อยทำให้ log-probability ลดลงแทนที่จะเพิ่มขึ้น รูปแบบนี้บทความเรียกว่า negative curvature

แทนที่จะฝึกตัวจำแนกหรือใช้ลายน้ำ วิธีนี้จะรบกวนข้อความตอนหนึ่ง ทำให้เกิดความแปรผันเล็กน้อยในวิธีการเรียบเรียงถ้อยคำใหม่ แล้วจึงให้คะแนนใหม่กับแต่ละความแปรผันด้วยโมเดลเดียวกัน บทความนี้เปรียบเทียบวิธีดังกล่าวกับ baseline แบบ zero-shot ที่ดีที่สุด และพบว่า เมื่อใช้กับข้อความที่สร้างโดยโมเดลขนาด 20-billion-parameter วิธีนี้ทำได้ 0.95 AUROC ขณะที่ baseline แบบ zero-shot ที่ดีที่สุดทำได้ 0.81 AUROC

การแจกแจงเดียวกัน, ใช้เพื่อทำลายน้ำแทนการตรวจจับ

จนถึงตอนนี้ ทุกอย่างได้ปฏิบัติต่อการแจกแจงความน่าจะเป็นเสมือนสิ่งที่อ่านได้ภายหลังจากเหตุการณ์แล้ว แต่การแจกแจงนี้ยังสามารถถูกแตะต้องได้ในขณะสร้างข้อความ ซึ่งทำให้ปัญหากลับด้านไปโดยสิ้นเชิง วิธีจากปี 2023 ของ Kirchenbauer, Geiping, Wen, Katz, Miers และ Goldstein จะเลือกบัญชีรายชื่อแบบสุ่มของโทเคนที่อนุญาตก่อนที่แต่ละคำจะถูกสร้างขึ้น โดยอาศัยแฮชของสิ่งที่มาก่อนหน้า แล้วค่อย ๆ ชี้นำการสุ่มตัวอย่างไปยังบัญชีรายชื่อนั้น อคตินี้มองไม่เห็นสำหรับผู้อ่าน และภายหลังสามารถกู้คืนได้ด้วยการทดสอบทางสถิติบนช่วงข้อความสั้น ๆ โดยไม่จำเป็นต้องเข้าถึงโมเดลต้นฉบับ

SynthID ของ Google DeepMind นำแนวคิดนี้ไปใช้จริงในระบบผลิตภัณฑ์, โดยปรับคะแนนความน่าจะเป็นของโทเคนถัดไปในเวลาสร้างข้อความ และใช้งานอยู่ในปัจจุบันในแอป Gemini และประสบการณ์บนเว็บ OpenAI สร้างระบบที่เทียบเคียงได้ และยังไม่ได้เปิดใช้งาน รายงานระบุว่าการตัดสินใจดังกล่าวมีส่วนมาจากการสำรวจซึ่งเกือบ 30 percent ของผู้ใช้ ChatGPT กล่าวว่าลายน้ำจะทำให้พวกเขาใช้ผลิตภัณฑ์น้อยลง ควบคู่กับความกังวลว่า ลายน้ำ จะทนต่อการถอดความได้ดีเพียงใด

รายงานของตัวตรวจจับแสดงคำที่ถูกไฮไลต์หรือเปอร์เซ็นต์เพียงค่าเดียวแล้วจบลงเพียงเท่านั้น โดยไม่เคยแสดงการแจกแจงที่สิ่งเหล่านั้นมาจาก TextPulse's free perplexity checker รันการให้คะแนนต่อโทเคนแบบเดียวกันในรูปแบบที่ทำให้ง่ายขึ้นกับร่างของคุณเอง ซึ่งเป็นวิธีที่ตรงกว่าในการดูว่าข้อความตอนหนึ่งอยู่ตรงไหน มากกว่าการอ่านคำตัดสินจากผู้อื่น

สองหน้าที่อยู่ใกล้เคียงกันจะกล่าวถึงประเด็นนี้ ว่าเครื่องตรวจจับยังคงอาศัย burstiness อยู่หรือไม่ ได้เปลี่ยนแปลงไปตั้งแต่ปี 2023 และ GPTZero แปลงความน่าจะเป็นชุดเดียวกันนี้ให้เป็นคะแนนอย่างไร ได้อธิบายไว้ในหน้าของตนเอง

เนื้อหานี้อยู่ร่วมกับ เครื่องมือฟรี อื่น ๆ ของ TextPulse ดังนั้นร่างเดียวกันจึงสามารถตรวจสอบจังหวะและโครงสร้าง ตลอดจนความคาดเดาได้ในระดับคำ โดยไม่ต้องเปิดแท็บแยกกันเป็นสิบ ๆ แท็บเพื่อทำเช่นนั้น