ความน่าจะเป็นของโทเคนและลอค-ไลก์ลิฮูดในการตรวจจับ AI

หากคุณถามตัวตรวจจับว่ามันได้คะแนนนั้นมาอย่างไร ส่วนติดต่อผู้ใช้ส่วนใหญ่ของมันจะให้คำตอบเดียวกันแก่คุณ, คือย่อหน้าหนึ่งที่มีบางคำถูกแรเงาเข้มกว่าคำอื่น การแรเงานั้นไม่ใช่การคาดเดา แต่มาจากตัวเลขที่แนบอยู่กับโทเคนทุกตัวในข้อความ ซึ่งคำนวณก่อนที่ตัวตรวจจับจะสัมผัส perplexity, burstiness หรือเปอร์เซ็นต์สุดท้ายเสียอีก

นั่นคือความน่าจะเป็นของโทเคน และการตรวจจับด้วยความน่าจะเป็นของโทเคนทุกกรณีตั้งอยู่บนสิ่งนั้นตั้งแต่ฐานราก ตัวชี้วัดใด ๆ ที่ตัวตรวจจับรายงานได้, รวมถึงสองตัวที่เราอธิบายไว้ที่อื่นในเว็บไซต์นี้, ก็เป็นเพียงคณิตศาสตร์ที่กระทำกับชุดของตัวเลขเหล่านี้ ชั้นที่อยู่ใต้ชั้นที่คำอธิบายส่วนใหญ่หยุดอยู่ คือจุดที่คุณต้องคิดว่าโทเคนจริง ๆ คืออะไร การกระจายของโมเดลต่อโทเคนนั้นหมายความว่าอย่างไร และเหตุใดคณิตศาสตร์จึงทำงานในลอการิทึมสเปซแทนที่จะใช้ความน่าจะเป็นดิบ คำอธิบายส่วนใหญ่หยุดอยู่ตรงนั้น

ทั้งหมดนี้ไม่จำเป็นต้องคลุมเครือ โทเคน การกระจายความน่าจะเป็น และลอการิทึม เป็นเครื่องมือธรรมดา ไม่ใช่ความลับเฉพาะ และแนวคิดสามอย่างเดียวกันนี้อธิบายว่า AI detectors ทำงานจริงอย่างไร ตั้งแต่ข้อความดิบไปจนถึงตัวเลขเดียวบนรายงาน

การตรวจจับด้วยความน่าจะเป็นของโทเคน, จากการกระจายสู่คะแนน

การตรวจจับด้วยความน่าจะเป็นของโทเคนทำงานเป็นสามขั้นตอน โมเดลภาษาให้ความน่าจะเป็นแก่โทเคนถัดไปที่เป็นไปได้ทุกตัว โดยอิงจากสิ่งที่มาก่อนหน้า ความน่าจะเป็นรายโทเคนเหล่านั้นถูกแปลงเป็นลอการิทึมและนำมารวมกันตลอดทั้งข้อความ ซึ่งหลีกเลี่ยงปัญหาทางตัวเลขที่การคูณแบบดิบจะเผชิญแทบจะทันที ผลรวมที่ได้ เมื่อเฉลี่ยและปรับสเกลแล้ว คือสิ่งที่ในที่สุดปรากฏเป็นค่าของ perplexity หรือป้อนเข้าสู่การตัดสินของตัวจำแนก แต่ละขั้นตอนเป็นส่วนของคณิตศาสตร์ที่เฉพาะเจาะจงและตรวจสอบได้ ไม่ใช่กล่องดำ

โทเคนจริง ๆ คืออะไร

โทเคนไม่ใช่คำ โมเดลภาษาสมัยใหม่แบ่งข้อความออกเป็นชิ้นส่วนย่อยกว่าคำด้วยอัลกอริทึม เช่น byte-pair encoding ดังนั้นคำที่พบบ่อยอย่าง 'the' มักจะเป็นหนึ่งโทเคน คำที่พบน้อยกว่าอย่าง 'perplexity' จะแบ่งออกเป็นสองหรือสามชิ้น และชื่อที่ไม่คุ้นเคยอาจแตกออกเป็นอักขระทีละตัว ข้อความภาษาอังกฤษทั่วไปจะถูกแปลงเป็นโทเคนได้อย่างน่าเชื่อถือเป็นชิ้นส่วนมากกว่าจำนวนคำ ซึ่งเป็นเรื่องที่ควรรู้ก่อนจะเชื่อจำนวนคำที่เครื่องมือรายงานกลับมาให้คุณ

โมเดลไม่เคยมองเห็นคำในแบบที่ผู้อ่านมองเห็น มันมองเห็นลำดับของจำนวนเต็ม โดยแต่ละจำนวนเป็นดัชนีที่ชี้ไปยังคลังคำคงที่ที่โมเดลถูกฝึกด้วย ทุกอย่างที่ token probability ai detection ทำจากจุดนี้ไปทำงานบนลำดับจำนวนเต็มนั้น ไม่ใช่บนสตริงตัวอักษรต้นฉบับ ซึ่งเป็นส่วนหนึ่งที่ทำให้การทำงานภายในของตัวตรวจจับอาจรู้สึกไม่เชื่อมโยงกับวิธีที่คนอ่านประโยคจริง ๆ

การแจกแจงของโมเดลต่อโทเคนถัดไป

ในทุกตำแหน่งของลำดับ โมเดลภาษาชนิด autoregressive ไม่ได้ให้ผลลัพธ์เป็นการทำนายเพียงหนึ่งค่า แต่มันให้การแจกแจงความน่าจะเป็นเต็มรูปแบบครอบคลุมคลังคำทั้งหมดของมัน ซึ่งเป็นตัวเลขหลายหมื่นค่าที่รวมกันได้หนึ่ง โดยจัดอันดับโทเคนถัดไปที่เป็นไปได้ทุกตัวจากน่าจะเป็นมากที่สุดไปน้อยที่สุด เมื่อพิจารณาจากทุกอย่างที่มาก่อนหน้า ป้อนวลี 'the results of the' ให้โมเดล แล้วมันจะแจกจ่ายมวลความน่าจะเป็นส่วนใหญ่ไปยังคำนามที่เป็นไปได้ไม่กี่คำ เช่น 'study,' 'experiment,' 'analysis,' ขณะเดียวกันก็ให้สัดส่วนที่เล็กจนแทบเป็นศูนย์แก่สิ่งอย่าง 'marmalade.'

โทเคนที่ปรากฏถัดไปจริงในเอกสารจริงจะไปอยู่ที่ตำแหน่งใดตำแหน่งหนึ่งในอันดับนั้น และความน่าจะเป็นที่กำหนดให้มันคือวัตถุดิบตั้งต้นที่ทุกอย่างอื่นสร้างขึ้นมา โมเดลที่สร้างข้อความของตนเองสามารถอาศัยการแจกแจงนี้ได้โดยตรง โดยเลือกซ้ำ ๆ จากบริเวณใกล้ด้านบนสุด ส่วนตัวตรวจจับที่อ่านข้อความที่เสร็จแล้วของคนอื่นทำได้เพียงถามภายหลังว่า โมเดลจะกำหนดความน่าจะเป็นให้กับตัวเลือกที่ถูกเลือกจริงมากเพียงใด

ความน่าจะเป็นของลำดับทั้งหมดคือผลคูณของความน่าจะเป็นของแต่ละ token เมื่อกำหนดทุกสิ่งที่มาก่อนหน้าไว้แล้ว, หากเราต่อคำถามราย token นั้นตลอดทั้งเอกสารโดยใช้กฎมาตรฐานสำหรับความน่าจะเป็นร่วม, ผลลัพธ์สุดท้ายจะเป็นตัวเลขเดียวที่อธิบายว่าข้อความทั้งตอนนั้นคาดหมายได้เพียงใด ผลคูณนี้เองที่ทำให้การคำนวณเริ่มพังลง, และนั่นคือเหตุผลที่มีหัวข้อถัดไป

เหตุใด Log-Likelihood จึงมาแทนความน่าจะเป็นดิบ

การคูณความน่าจะเป็นเข้าด้วยกันนั้นถูกต้องทางคณิตศาสตร์ แต่ใช้การไม่ได้ในทางปฏิบัติเมื่อเกินไปไม่กี่สิบ token ความน่าจะเป็นแต่ละตัวเป็นเศษส่วนที่น้อยกว่าหนึ่ง, ดังนั้นผลคูณที่คำนวณต่อเนื่องจะลดลงทุกครั้งที่มี token ใหม่ถูกคูณเข้าไป, และมันลดลงอย่างรวดเร็ว เมื่อผ่านไปไม่กี่ร้อย token, ผลคูณดิบอาจต่ำกว่าตัวเลขที่เล็กที่สุดซึ่งคอมพิวเตอร์สามารถแทนค่าได้มากจนถูกปัดลงเป็นศูนย์พอดี, ซึ่งเป็นโหมดความล้มเหลวที่เรียกว่า underflow

เมื่อเกิดขึ้นแล้ว, ตัวเลขนั้นก็ไม่เหลือข้อมูลใดเลย เอกสารที่มีเพียงความเป็นไปได้น้อย และเอกสารที่ไม่น่าเป็นไปได้อย่างยิ่งจนไร้ระเบียบ ต่างก็ยุบเหลือศูนย์เดียวกัน, โดยไม่มีทางแยกออกจากกันได้ภายหลัง ลอการิทึมแก้ปัญหานี้ได้ เพราะลอการิทึมของผลคูณเท่ากับผลบวกของลอการิทึม, ซึ่งเป็นเอกลักษณ์จากพีชคณิตพื้นฐาน การบวกชุดของจำนวนลบธรรมดาไม่เกิด underflow เหมือนการคูณชุดของเศษส่วนเล็ก ๆ และยังคำนวณได้ถูกกว่าด้วย

ความยาวของข้อความ, แบบยกตัวอย่าง	ความน่าจะเป็นดิบ, ผลคูณที่คำนวณต่อเนื่อง	ผลรวมของ log-probabilities
12 token ที่สมมติว่าแต่ละตัวมีค่า 0.1	1 x 10 ยกกำลัง -12, ยังแทนค่าได้	ประมาณ -27.6
350 token ที่สมมติว่าแต่ละตัวมีค่า 0.1	1 x 10 ยกกำลัง -350, underflows เป็น 0 พอดี	ประมาณ -805.9

นี่เป็นภาพประกอบแบบย่อ ความน่าจะเป็นรายโทเคนจริงแปรผันอย่างมาก ไม่ได้คงอยู่ที่ 0.1 แบบราบเรียบ แต่ทิศทางของปัญหานั้นถูกต้องอย่างยิ่ง เมื่อผลคูณดิบเกิด underflow จนเป็นศูนย์ การเปรียบเทียบที่ตัวตรวจจับต้องใช้จริง, กล่าวคือ เอกสารนี้คาดหมายได้น้อยกว่าหรือมากกว่าเอกสารนั้นเพียงใด, ก็จะเป็นไปไม่ได้ ผลรวมของ log-probabilities ไม่ล้มเหลวในลักษณะนั้น มันยังคงเป็นตัวเลขที่แม่นยำ ปกติ และเปรียบเทียบได้ ไม่ว่าข้อความจะยาวเพียงใด ซึ่งเป็นเหตุผลที่แท้จริงที่ความสามารถในการตรวจจับถูกวัดใน log space แทนที่จะวัดใน raw probability space

จากคะแนนรายโทเคนไปสู่คะแนนการตรวจจับ

การรวม log-probabilities ตลอดทั้งข้อความทำให้ได้ total log-likelihood ของเอกสารภายใต้ reference model การหารด้วยจำนวนโทเคนช่วยตัดผลของความยาวออกไป และเหลือ average log-likelihood ต่อโทเคน ซึ่งเป็นตัวเลขที่ในที่สุดก็เปรียบเทียบกันได้ระหว่างเรียงความ 500 คำกับบทหนึ่งของวิทยานิพนธ์ 5,000 คำ เมื่อกลับเครื่องหมายของค่าเฉลี่ยนั้นแล้วนำไป exponentiate ผลที่ได้คือ perplexity score ซึ่งเป็นเมตริกที่กลุ่มนี้อธิบายไว้อย่างครบถ้วนในบทความแยกเกี่ยวกับ what perplexity actually measures

ตัวเลขรายประโยคชุดเดียวกันนี้ เมื่อบันทึกความแปรผันตลอดทั้งเอกสารแทนที่จะถูกรวมให้เป็นค่าเฉลี่ยเดียว คือ what burstiness is built from ซึ่งเป็นสัญญาณที่เกี่ยวข้องแต่แยกจาก perplexity ทั้งสองเริ่มจากตัวเลขรายโทเคนชุดเดียวกันตามที่อธิบายไว้ข้างต้น เพียงแต่คำนวณทางคณิตศาสตร์ต่างกันบนข้อมูลชุดนั้น

ค่าเฉลี่ยอย่างง่ายไม่ใช่วิธีเดียวในการใช้วัตถุดิบดิบนี้ และงานวิจัยก็พัฒนาไปไกลกว่านั้นแล้ว DetectGPT ซึ่งตีพิมพ์ใน ICML 2023 โดย Mitchell, Lee, Khazatsky, Manning and Finn ทำงานจากคุณสมบัติอีกแบบหนึ่งของฟังก์ชันความน่าจะเป็นเดียวกัน, ข้อความที่สุ่มตัวอย่างจาก language model มักจะอยู่ในบริเวณที่การเรียบเรียงใหม่เล็กน้อยทำให้ log-probability ลดลงแทนที่จะเพิ่มขึ้น, รูปแบบที่บทความเรียกว่า negative curvature

แทนที่จะฝึกตัวจำแนกหรือใช้ลายน้ำ วิธีนี้จะรบกวนข้อความตอนหนึ่ง ทำให้เกิดความแปรผันเล็กน้อยในวิธีการถอดความ แล้วจึงให้คะแนนใหม่กับความแปรผันแต่ละแบบด้วยโมเดลเดียวกัน บทความนี้เปรียบเทียบวิธีดังกล่าวกับ baseline แบบ zero-shot ที่ดีที่สุด และพบว่า เมื่อใช้กับข้อความที่สร้างโดยโมเดลขนาด 20-billion-parameter วิธีนี้ทำได้ 0.95 AUROC ขณะที่ baseline แบบ zero-shot ที่ดีที่สุดทำได้ 0.81 AUROC

การแจกแจงเดียวกัน, ใช้เพื่อทำลายน้ำแทนการตรวจจับ

จนถึงตอนนี้ ทุกอย่างได้ปฏิบัติต่อการแจกแจงความน่าจะเป็นเสมือนสิ่งที่อ่านได้ภายหลังจากเหตุการณ์แล้ว แต่ก็สามารถเข้าไปแตะต้องได้ในขณะสร้างข้อความ ซึ่งทำให้ปัญหากลับด้านไปโดยสิ้นเชิง วิธีในปี 2023 จาก Kirchenbauer, Geiping, Wen, Katz, Miers และ Goldstein จะเลือก shortlist แบบสุ่มของโทเคนที่อนุญาตก่อนที่แต่ละคำจะถูกสร้างขึ้น โดยอาศัยแฮชของสิ่งที่มาก่อนหน้า แล้วค่อย ๆ ชี้นำการสุ่มตัวอย่างไปยัง shortlist นั้น อคติดังกล่าวมองไม่เห็นสำหรับผู้อ่าน และภายหลังสามารถกู้คืนได้ด้วยการทดสอบทางสถิติบนช่วงข้อความสั้น ๆ โดยไม่จำเป็นต้องเข้าถึงโมเดลต้นฉบับ

SynthID ของ Google DeepMind นำแนวคิดนี้ไปใช้จริงในระบบการผลิต, โดยปรับคะแนนความน่าจะเป็นของโทเคนถัดไปในขณะสร้างข้อความ และใช้งานอยู่ในปัจจุบันในแอป Gemini และประสบการณ์บนเว็บ OpenAI สร้างระบบที่เทียบเคียงได้ และยังไม่ได้เปิดใช้งาน รายงานข่าวระบุว่า การตัดสินใจดังกล่าวส่วนหนึ่งมาจากผลสำรวจที่พบว่า ผู้ใช้ ChatGPT เกือบ 30 percent กล่าวว่าลายน้ำจะทำให้พวกเขาใช้ผลิตภัณฑ์น้อยลง ควบคู่กับความกังวลว่า ลายน้ำจะทนต่อการถอดความได้ดีเพียงใด

รายงานของตัวตรวจจับจะแสดงคำที่ถูกไฮไลต์หรือเปอร์เซ็นต์เพียงค่าเดียว แล้วหยุดอยู่เพียงเท่านั้น โดยไม่เคยแสดงการแจกแจงที่เป็นต้นทางของสิ่งเหล่านั้นเลย free perplexity checker ของ TextPulse รันการให้คะแนนต่อโทเคนแบบเดียวกันในรูปแบบที่ทำให้ง่ายขึ้นกับร่างข้อความของคุณเอง ซึ่งเป็นวิธีที่ตรงกว่าในการดูว่าข้อความตอนหนึ่งอยู่ตรงไหน มากกว่าการอ่านคำตัดสินผ่านคำบอกเล่า

หน้าสองหน้าที่อยู่ติดกันจะกล่าวถึงประเด็นนี้ ว่าตัวตรวจจับยังคงอาศัย burstiness อยู่หรือไม่ ได้เปลี่ยนไปตั้งแต่ปี 2023 และ GPTZero แปลงความน่าจะเป็นชุดเดียวกันนี้เป็นคะแนนอย่างไร ได้อธิบายไว้ในหน้าของตนเอง

สิ่งนี้อยู่ร่วมกับ เครื่องมือฟรี อื่น ๆ ของ TextPulse ดังนั้นร่างเดียวกันจึงสามารถตรวจสอบจังหวะและโครงสร้าง ตลอดจนความคาดเดาได้ในระดับคำ โดยไม่ต้องเปิดแท็บแยกกันเป็นสิบ ๆ แท็บเพื่อทำเช่นนั้น