เหตุใดข้อความ AI จึงถูกตรวจพบ? เหตุผลที่แท้จริง

หากคุณขอให้แบบจำลองภาษาเติมประโยค "The weather today is," มันจะไม่พยายามเลือกสีอย่าง "cerulean" หรือ "apocalyptic" แทนที่จะเป็นเช่นนั้น มันจะพยายามพูดว่า "sunny," "cloudy," หรือ "nice," เพราะนั่นคือคำที่มักจะตามหลังวลีดังกล่าวมากที่สุดในข้อมูลใดก็ตามที่มันถูกฝึกมา ซอฟต์แวร์ที่เลือกคำถัดไปในประโยคได้รับการออกแบบมาให้เอนเอียงไปทางคำตอบประเภทนี้โดยเฉพาะ

ทำไมข้อความที่สร้างโดย AI จึงถูกตรวจพบ เพราะความชอบแบบเดียวกันที่เลือก 'sunny' แทน 'cerulean' แผ่ผ่านเอกสารทั้งฉบับ คำต่อคำ และผลลัพธ์ก็ตกอยู่ในช่วงแคบกว่าของการเขียนที่เป็นไปได้เมื่อเทียบกับช่วงที่มนุษย์มักอยู่จริง เครื่องมือตรวจจับไม่จำเป็นต้องจับคำโกหก มันเพียงต้องสังเกตว่าข้อความช่วงหนึ่งยังคงตกลงไปในช่วงแคบนั้น

สิ่งที่จะตามมาไม่จำเป็นต้องมีสูตรคำนวณ กลไกทั้งหมดอยู่ในแนวคิดเดียวที่ถูกทำซ้ำในสามระดับที่ต่างกัน ได้แก่ การเลือกคำ โครงสร้างประโยค และรายละเอียดเฉพาะที่ผู้เขียนหยิบมาใช้โดยแทบไม่ต้องคิดถึงมัน แต่ละระดับเหล่านี้ส่งผลต่อคำถามที่กว้างกว่าเกี่ยวกับ how AI detectors actually work และแต่ละระดับจะมองเห็นได้ง่ายขึ้นเมื่อระบุสาเหตุรากฐานแล้ว

ทำไมข้อความที่สร้างโดย AI จึงถูกตรวจพบ คำตอบสั้น ๆ

ข้อความที่สร้างโดย AI ถูกตรวจพบเพราะกระบวนการถอดรหัสที่เปลี่ยนการคาดการณ์ของแบบจำลองให้เป็นประโยคที่สมบูรณ์ถูกสร้างขึ้นมาให้เอนเอียงไปทางคำที่มีแนวโน้มสูงในทุกขั้นตอน และการทำเช่นนั้นอย่างสม่ำเสมอเป็นเวลาหลายพันคำติดต่อกัน ทำให้เกิดงานเขียนที่ครอบครองเพียงส่วนที่แคบกว่าของภาษาเมื่อเทียบกับที่มนุษย์มักทำ เครื่องมือทางสถิติสามารถค้นหาความแคบนั้นได้ แม้ทุกประโยคจะถูกต้องตามไวยากรณ์และถูกต้องตามข้อเท็จจริงก็ตาม

อาการสามประการตามมาจากสาเหตุเดียวนี้ คำศัพท์จะแคบลงไปสู่คำสามัญที่ปลอดภัยที่สุด โครงสร้างประโยคจะแคบลงไปสู่รูปแบบที่ชอบเพียงไม่กี่แบบ และการเลือกที่เฉพาะเจาะจงและดูไม่น่าจะเกิดขึ้นเล็กน้อยซึ่งคนคนหนึ่งเลือกแทบจะโดยสัญชาตญาณ คำแปลก ๆ ข้อสังเกตแทรก และรายละเอียดที่แทบไม่ต้องเสียอะไรในการใส่เข้าไป แต่ต้องใช้มากในการคาดเดา มักจะไม่ปรากฏเลย

แบบจำลองภาษาคัดเลือกคำถัดไปอย่างไร

หากปล่อยให้ทำงานตามลำพัง language model จะเพียงรายงานรายการคำถัดไปที่เป็นไปได้ทั้งหมดซึ่งจัดอันดับไว้ และปล่อยให้สิ่งอื่นเป็นผู้เลือก ในทางปฏิบัติ กลยุทธ์การถอดรหัสจะทำการเลือกนั้นโดยอัตโนมัติ ทีละคำ และกลยุทธ์ที่กำลังทำงานอยู่จะเปลี่ยนลักษณะของผลลัพธ์ แม้ว่า model พื้นฐานจะไม่เปลี่ยนเลยก็ตาม

Greedy decoding จะเลือกคำที่มีความน่าจะเป็นสูงสุดเพียงคำเดียวเสมอ ในบทความที่แนะนำ nucleus sampling เพื่อเป็นวิธีแก้ Ari Holtzman และผู้เขียนร่วมสังเกตว่า การทำตามกลยุทธ์นี้นำไปสู่ข้อความที่, ตามถ้อยคำของพวกเขาเอง, 'จืดชืดและซ้ำซากอย่างประหลาด' Beam search ซึ่งติดตามความต่อเนื่องที่มีแนวโน้มหลายแบบพร้อมกันก่อนจะตัดสินใจเลือกหนึ่งแบบ ก็ประสบปัญหาในลักษณะเดียวกัน

กลยุทธ์การสุ่มตัวอย่างนำความสุ่มกลับมาอีกครั้ง แต่เป็นไปอย่างมีการควบคุม Temperature ปรับว่าระบบให้ความสำคัญกับตัวเลือกอันดับต้นของตนเองมากเพียงใดก่อนที่จะสุ่มเลือกคำ Nucleus sampling ซึ่งบางครั้งเรียกว่า top-p จะตัดทอนการแจกแจงให้เหลือชุดคำที่เล็กที่สุดซึ่งความน่าจะเป็นรวมกันเกินเกณฑ์ที่กำหนด และสุ่มเลือกจากชุดนั้นเท่านั้น โดยในบทความต้นฉบับอธิบายว่าเป็นการสุ่มตัวอย่างจาก nucleus แบบพลวัตของการแจกแจง แทนที่จะสุ่มจากหางที่ไม่น่าเชื่อถือของมัน

แม้แต่การตั้งค่าที่ไม่กำหนดแน่นอนที่สุดเหล่านี้ ก็ยังสุ่มเลือกจากรายการคำสั้น ๆ ที่สร้างขึ้นจากสิ่งที่ model เห็นว่าน่าจะเป็นอยู่แล้ว การเขียนของมนุษย์ไม่เคยถูกสร้างขึ้นโดยการจัดอันดับคำศัพท์แล้วสุ่มจากคำที่อยู่บนสุด จึงมักก้าวข้ามรายการสั้น ๆ นั้นอยู่เสมอ ความหมายบางครั้งอาศัยอยู่ในคำที่ไม่เคยอยู่ในรายการเลย

ความแบนราบของคำศัพท์, คำที่น้อยลงและปลอดภัยกว่า

ความแบนราบของคำศัพท์คือรูปแบบในระดับคำของพฤติกรรมเดียวกันนี้ ในแต่ละจุดของประโยค มีคำหลายสิบคำที่อาจต่อประโยคได้อย่างสมเหตุสมผล แต่มีเพียงไม่กี่คำที่อยู่สูงกว่าคำอื่น ๆ อย่างมากในการจัดอันดับของ model และการถอดรหัสก็มักลงเอยที่ไม่กี่คำนั้น การคูณการเลือกนั้นด้วยทุกประโยคในเอกสาร ทำให้ช่วงของคำที่ใช้จริงแคบลงอย่างวัดได้ เมื่อเทียบกับงานเขียนของมนุษย์ที่มีความยาวใกล้เคียงกัน

ผลกระทบนี้สะสมเพิ่มขึ้นแทนที่จะคงที่ โมเดลที่เลือกใช้คำซึ่งมีอันดับสูงสุดในประโยคแรก มีแนวโน้มมากขึ้นที่จะสร้างบริบทที่ทำให้คำซึ่งมีอันดับสูงสุดในประโยคที่สองเป็นคำที่พบได้ทั่วไปเช่นกัน เพราะคำที่พบได้ทั่วไปมักตามหลังคำที่พบได้ทั่วไป นักเขียนมนุษย์จะขัดจังหวะแนวโน้มนี้อยู่ตลอด โดยเลือกใช้คำศัพท์เทคนิคเฉพาะ คำกริยาที่แปลกไปเล็กน้อย หรือคำที่ตั้งชื่อสิ่งนั้นจริง ๆ แทนที่จะใช้คำประมาณที่ปลอดภัย ความแตกต่างนี้ปรากฏเป็นคลังคำใช้งานที่เล็กลงอย่างวัดได้ในฉบับที่สร้างขึ้น แม้ทั้งสองฉบับจะอธิบายข้อเท็จจริงพื้นฐานเดียวกันก็ตาม

นี่เป็นคุณสมบัติของข้อความทั้งตอน ไม่ใช่ของการเลือกใช้คำคำใดคำหนึ่งเพียงคำเดียว คำที่ปลอดภัยหนึ่งคำพิสูจน์อะไรไม่ได้ หน้าเอกสารที่เต็มไปด้วยคำลักษณะนี้ ทีละประโยคที่เลือกใช้คำศัพท์สามัญในระดับอันดับเดียวกัน คือสิ่งที่สัญญาณระดับคำของตัวตรวจจับถูกสร้างมาเพื่อตรวจพบจริง ๆ

ความสม่ำเสมอทางวากยสัมพันธ์, รูปแบบเดียวกันที่ถูกทำซ้ำ

ความสม่ำเสมอทางวากยสัมพันธ์เป็นฉบับระดับประโยคของปรากฏการณ์นี้ ไม่ได้เกี่ยวกับว่าประโยคยาวเพียงใด แต่เกี่ยวกับว่าข้อความหนึ่งใช้รูปแบบไวยากรณ์ที่แตกต่างกันกี่แบบ, ประโยคเริ่มต้นอย่างไร, อนุประโยคเชื่อมเข้าหากันอย่างไร, และคำเชื่อมเปลี่ยนผ่านทำหน้าที่เชื่อมความคิดหนึ่งไปสู่อีกความคิดหนึ่งบ่อยเพียงใด โมเดลที่คอยทำนายโครงสร้างถัดไปซึ่งน่าจะเกิดขึ้นทางสถิติ จะลงเอยด้วยการหมุนเวียนอยู่ในชุดรูปแบบเล็ก ๆ และทำซ้ำชุดนั้น

ย่อหน้าหนึ่งอาจมีความยาวของประโยคที่หลากหลาย แต่ยังคงอ่านได้ว่าราบเรียบทางวากยสัมพันธ์ หากทุกประโยคเป็นไปตามรูปแบบประธาน, กริยา, ส่วนเติมเต็มแบบเดียวกัน, เปิดด้วยคำเชื่อมชนิดเดียวกัน, หรือคลี่คลายไปในแบบเดียวกัน ความคาดเดาได้อยู่ในรูปแบบ ไม่ใช่ในจำนวนคำ ซึ่งเป็นความแตกต่างที่อธิบายไว้ละเอียดขึ้นในคู่มือเกี่ยวกับ burstiness วัดอะไรจริง ๆ

สิ่งที่ทำให้แคบลง	สิ่งที่ข้อความที่ปรับให้เหมาะกับการถอดรหัสมักทำ	สิ่งที่งานเขียนของมนุษย์มักทำ
การเลือกคำ	เลือกคำสามัญที่มีความน่าจะเป็นสูงที่สุดในแต่ละขั้น	เลือกคำเฉพาะหรือคำที่ไม่ค่อยใช้ซึ่งระบุสิ่งนั้นได้ตรงตัว
การเปิดประโยค	ใช้รูปแบบเปิดประโยคเชื่อมต่อที่ปลอดภัยเพียงไม่กี่แบบซ้ำไปมา	เปลี่ยนวิธีเริ่มต้นประโยค รวมถึงการเปิดที่แบบจำลองจะจัดอันดับว่ามีความเป็นไปได้น้อยกว่า
โครงสร้างอนุประโยค	ใช้รูปแบบไวยากรณ์ที่ชอบหนึ่งหรือสองแบบซ้ำตลอดข้อความ	ผสมโครงสร้างแบบง่ายและแบบซับซ้อนตามสิ่งที่ประโยคต้องการ

ตัวเลือกที่มีแนวโน้มว่ามนุษย์เท่านั้นจะทำ

อีกด้านหนึ่งของช่วงที่แคบคือสิ่งที่อยู่นอกช่วงนั้น ผู้ที่บรรยายเหตุการณ์จริงจะเลือกตัวเลขที่ตรงเป๊ะแทนที่จะใช้ตัวเลขกลม ๆ ยอมรับส่วนที่ไม่สำเร็จ ขัดจังหวะประโยคเพื่อแก้ไขกลางความคิด หรือเลือกคำที่ถูกต้องมากกว่าคำที่เป็นแบบทั่วไป การเลือกแต่ละอย่างนั้น จากมุมมองของแบบจำลองภาษา คือโทเคนที่มีความน่าจะเป็นต่ำ ซึ่งเป็นชนิดเดียวกับที่การถอดรหัสถูกสร้างขึ้นมาเพื่อหลีกเลี่ยง

ทั้งหมดนี้ไม่ได้หมายความว่างานเขียนที่เฉพาะเจาะจงหรือผิดปกติจะปลอดภัยจากการถูกตั้งค่าสถานะทุกกรณี หรือว่างานเขียนที่คล่องและถูกต้องจะน่าสงสัยโดยอัตโนมัติ ส่วนวิธีการ, ข้อความทางกฎหมาย หรือร่างสุดท้ายที่ผ่านการแก้ไขอย่างหนัก อาจตกอยู่ในช่วงที่แคบได้ด้วยเหตุผลที่ไม่เกี่ยวกับแบบจำลองเลย ซึ่งนั่นคือเหตุผลที่คะแนนเพียงค่าเดียวเป็นเพียงคำอธิบายของรูปแบบ มากกว่าจะเป็นคำตัดสินว่าใครเป็นผู้พิมพ์มัน

การเห็นว่าร่างของคุณเองอยู่ตรงไหนในช่วงนั้นมีประโยชน์มากกว่าการคาดเดา เครื่องมือ free perplexity checker และ burstiness checker ของ TextPulse วัดความคาดเดาได้ในระดับคำและจังหวะจากประโยคหนึ่งไปสู่อีกประโยคแยกกัน ดังนั้นคำศัพท์ที่ราบเรียบและรูปแบบประโยคที่ซ้ำกันจึงปรากฏเป็นสัญญาณสองแบบที่ต่างกัน แทนที่จะถูกรวมเป็นตัวเลขเดียว

จากนี้มีหน้าแคบลงอีกสองหน้า Turnitin ตรวจจับ AI อย่างไรโดยเฉพาะ เป็นหนึ่งหน้า และ ความแตกต่างระหว่างคะแนนความคล้ายคลึงและคะแนน AI ของมัน เป็นอีกหนึ่งหน้า เนื่องจากทั้งสองมักถูกเข้าใจผิดว่าเป็นสิ่งเดียวกัน

ทั้งสองหน้าอยู่ภายใน ชุดเครื่องมือฟรี ที่กว้างกว่า สำหรับผู้ที่ต้องการดูรูปแบบด้วยตนเอง มากกว่าที่จะเชื่อถือเพียงตัวเลขเดียวโดยไม่ไตร่ตรอง