Burstiness คืออะไร? ทำไมประโยคที่สม่ำเสมอจึงถูกตั้งธง

อ่านย่อหน้าออกเสียง แล้วจะได้ยินความราบเรียบแบบหนึ่งก่อนที่จะอธิบายเป็นคำได้, ทุกประโยคลงจังหวะหายใจใกล้เคียงกัน, ราวกับเครื่องเมตรอนอมที่ไม่มีใครนึกปิด ผู้เขียนอ่านออกว่ามีรูปแบบนี้ก่อนจะบอกได้ว่ามีอะไรผิดปกติ และตัวตรวจจับที่สร้างขึ้นเพื่อตรวจจับข้อความที่สร้างขึ้นก็ถูกออกแบบมาให้สังเกตเห็นสิ่งนี้เช่นกัน ชื่อของรูปแบบนี้คือ burstiness, ซึ่งเป็นคำที่เก่ากว่าตัวตรวจจับ AI ใดๆ

แล้ว burstiness คืออะไร ในความหมายเฉพาะที่ตัวตรวจจับใช้? มันเป็นการวัดว่าความยาวของประโยคแกว่งกว้างเพียงใดตลอดทั้งข้อความ โดยคำนวณเทียบกับค่าเฉลี่ยของข้อความนั้นเอง ไม่ใช่เทียบกับตัวเลขคงที่ใดๆ ย่อหน้าหนึ่งมี burstiness สูงเมื่อประโยคสั้นๆ กระชับๆ วางอยู่ข้างประโยคยาวที่คดเคี้ยว ย่อหน้าหนึ่งมี burstiness ต่ำเมื่อทุกประโยคมีความยาวใกล้เคียงกัน ไม่ว่าความยาวนั้นจะเป็นหกคำหรือยี่สิบหกคำก็ตาม

สถิตินี้คำนวณด้วยมือได้ไม่ยากในย่อหน้าสั้นๆ และเมื่อมองเห็นมันแล้ว หน้าเขียนที่ราบเรียบก็จะหยุดเป็นเพียงความรู้สึกคลุมเครือ และกลายเป็นตัวเลขที่ชี้ให้เห็นได้ นอกจากนี้ มันแทบไม่มีความเกี่ยวข้องกับสถิติที่เก่ากว่าและไม่เกี่ยวกัน ซึ่งบังเอิญใช้ชื่อเดียวกัน

burstiness คืออะไร?

ตัวตรวจจับ AI จะถูกเรียกว่า bursty หากมีความแปรผันของความยาวประโยคตลอดทั้งเอกสาร burstiness ในความหมายที่ตัวตรวจจับ AI ใช้คำนี้ คือการกระจายของความยาวประโยคทั่วทั้งเอกสาร ซึ่งแสดงเป็นตัวเลขเดียว, คือส่วนเบี่ยงเบนมาตรฐานของความยาวเหล่านั้นหารด้วยค่าเฉลี่ยของมัน ตัวเลขที่สูงหมายความว่าความยาวของประโยคแตกต่างกันมากเมื่อเทียบกับค่าเฉลี่ย ตัวเลขที่ต่ำหมายความว่าประโยคเกาะกลุ่มกันแน่นรอบค่าเฉลี่ยนั้น ไม่ว่าค่าเฉลี่ยจะเป็นเท่าใดก็ตาม

คำนี้เองเป็นส่วนหนึ่งของศัพท์สถิติที่เก่ากว่ามาก นักวิจัยใช้ burstiness เพื่ออธิบายแผ่นดินไหว การระบาดของโรค และการจราจรของเครือข่าย, สิ่งใดก็ตามที่รวมตัวกันตามเวลาแทนที่จะกระจายอย่างสม่ำเสมอ และวิธีที่ใช้กันทั่วไปวิธีหนึ่งในการวัดในสาขาเหล่านั้นคือ Fano factor, ซึ่งเป็นอัตราส่วนของความแปรปรวนของจำนวนต่อค่าเฉลี่ยของมัน

นอกจากนี้ ยังมีความหมายที่สองซึ่งเก่ากว่า อยู่ภายในตัวการประมวลผลภาษาธรรมชาติเอง และสับสนได้ง่ายกับสถิติความยาวประโยคที่บทความนี้กล่าวถึง นักภาษาศาสตร์คลังข้อมูลในทศวรรษ 1990 ใช้ burstiness เพื่ออธิบายการที่คำแต่ละคำจับกลุ่มกัน, เมื่อเอกสารหนึ่งกล่าวถึงคำที่ไม่พบบ่อยแล้ว เอกสารนั้นก็มีแนวโน้มที่จะกล่าวถึงคำนั้นอีกครั้งมากกว่าที่การปรากฏครั้งแรกอย่างอิสระจะชี้ให้เห็น Kenneth Church และ William Gale ให้วิธีจัดการทางสถิติกับรูปแบบนี้ไว้ใน Poisson mixtures ในปี 1995 และระบบการค้นคืนสารสนเทศยังคงปรับค่านี้เมื่อถ่วงน้ำหนักว่าคำที่ซ้ำควรถูกนับมากเพียงใด สถิตินั้นติดตามการซ้ำของคำหนึ่งคำ การวัดในบทความนี้ติดตามสิ่งอื่น, คือรูปทรงของประโยคทั้งประโยค โดยไม่ขึ้นกับว่าคำใดมาเติมเต็มประโยคนั้น

ส่วนที่เหลือของบทความนี้ใช้คำนี้ในความหมายที่สองเท่านั้น, คือรูปทรงของประโยค ไม่ใช่การเกิดซ้ำของคำ

เหตุใดการกระจายจึงสำคัญกว่าค่าเฉลี่ย

เอกสารสองฉบับอาจมีค่าเฉลี่ยความยาวประโยคเท่ากันทุกประการ แต่กลับอ่านไม่เหมือนกันเลย ค่าเฉลี่ย 12 คำอาจเป็นของย่อหน้าที่ทุกประโยคยาวใกล้เคียง 12 คำ หรือของย่อหน้าที่ประโยคยาว 6 คำสลับกับประโยคยาว 18 คำ และค่าเฉลี่ยไม่อาจแยกย่อหน้าทั้งสองนี้ออกจากกันได้ มีเพียงการกระจายรอบค่าเฉลี่ยเท่านั้นที่ทำได้

นักสถิติจะเรียกการเปรียบเทียบที่ดูเพียงค่าเฉลี่ยว่าเป็นความล้มเหลวในการมองให้พ้นโมเมนต์แรกของการแจกแจง ตัวตรวจจับ หรือผู้อ่านที่รอบคอบ กำลังตรวจสอบโมเมนต์ที่สองโดยนัยด้วย, คือรูปทรงรอบจุดศูนย์กลาง ซึ่งค่าเฉลี่ยเพียงอย่างเดียวไม่มีวันเปิดเผยได้

ลองพิจารณาวิธีรายงานผลลัพธ์เดียวกันสองแบบ. 'The intervention reduced symptoms in most participants. The effect was consistent across age groups. The finding supports further investigation into the mechanism.' สามประโยค, ประโยคละแปดถึงเก้าคำ, คือจังหวะที่แทบไม่มีการกระจายเลย ตอนนี้ลองเปรียบเทียบ: 'Symptoms dropped in most participants. That held up whether the person was twenty-two or sixty-eight, which nobody on the team expected going in, and it is the reason the next study needs to look at mechanism rather than outcome alone.' ข้ออ้างเหมือนกันทุกประการ แต่จังหวะที่รองรับข้ออ้างนั้นไม่เหมือนกัน

ค่าเฉลี่ยมองทั้งสองย่อหน้าให้เหมือนกันทั้งหมด แต่ผู้อ่าน, และดูเหมือนว่าเครื่องตรวจจับก็เช่นกัน, ไม่ได้มองเช่นนั้น

การคำนวณ burstiness

คณิตศาสตร์นั้นสั้นมาก นับจำนวนคำในแต่ละประโยค หาค่าเบี่ยงเบนมาตรฐานของรายการนั้น แล้วหารด้วยค่าเฉลี่ย ตัวอย่างเช่น หากคุณดูข้อความที่มีประโยคยาวแปด, สามสิบเอ็ด, สิบเอ็ด, ยี่สิบสี่ และเก้าคำ คุณจะได้การกระจายประมาณร้อยละห้าสิบหกของค่าเฉลี่ย, ซึ่งเป็น burst ที่กว้าง หากคุณดูข้อความที่มีประโยคยาวสิบห้า, สิบหก, สิบสี่, สิบเจ็ด และสิบห้าคำ คุณจะได้การกระจายประมาณร้อยละเจ็ด แม้ว่าข้อความทั้งสองจะมีความยาวเฉลี่ยเกือบเท่ากัน

ค่าเบี่ยงเบนมาตรฐานดิบเพียงอย่างเดียวจะไม่ทำหน้าที่เดียวกัน ความกระจายแปดคำย่อมมีความหมายต่างกันในข้อความที่มีค่าเฉลี่ยสิบสองคำต่อประโยค เมื่อเทียบกับข้อความที่มีค่าเฉลี่ยสี่สิบคำต่อประโยค ดังนั้นการหารด้วยค่าเฉลี่ยจึงเป็นสิ่งที่ทำให้ตัวเลขนี้เปรียบเทียบกันได้จากข้อความหนึ่งไปยังอีกข้อความหนึ่ง

การกำหนดกรอบแบบสัมพัทธ์นี้เองที่ทำให้สถิตินี้ทำงานในลักษณะเดียวกันทั้งกับสำนวนข่าวที่กระชับและกับงานทฤษฎีที่หนาแน่น ตอนเชิงเทคนิคที่สร้างจากประโยคสั้นและสม่ำเสมอ กับย่อหน้าแบบสนทนาที่สร้างจากประโยคสั้นและสม่ำเสมอ สามารถถูกจัดว่าเป็น burstiness ต่ำได้ทั้งคู่ เพราะการวัดนี้ไม่เคยถามว่าประโยคยาวเท่าใดในเชิงสัมบูรณ์ แต่ถามเพียงว่าแต่ละประโยคอยู่ห่างจากค่าเฉลี่ยของประโยคข้างเคียงมากเพียงใด

นี่คือการคำนวณแบบเดียวกันกับที่ free burstiness checker บนเว็บไซต์นี้ใช้กับร่างที่วางลงไป โดยแสดงประโยคแต่ละประโยคเป็นจุดแทนที่จะย่อทั้งข้อความให้เหลือเพียงตัวเลขเดียว ในสเกลดังกล่าว สิ่งใดก็ตามที่ต่ำกว่าประมาณร้อยละยี่สิบจะอ่านได้ว่าเป็นการกระจายที่แน่นและสม่ำเสมอ และสิ่งใดก็ตามที่สูงกว่าประมาณร้อยละสี่สิบห้าจะอ่านได้ว่าเป็นการกระจายที่กว้าง โดยร้อยแก้วเชิงวิชาการที่ผ่านการแก้ไขส่วนใหญ่อยู่ระหว่างกลาง

ย่อหน้าที่มีความแปรปรวนต่ำมีลักษณะอย่างไรบนหน้า

วางรูปแบบทั้งสองไว้เคียงกัน แล้วจะเห็นความแตกต่างได้ง่ายเมื่อคุณรู้ว่าจะมองหาอะไร

ลักษณะ	ย่อหน้าความแปรปรวนต่ำ	ย่อหน้าความแปรปรวนสูง
รูปแบบความยาวประโยค	แทบทุกประโยคมีความยาวอยู่ภายในระยะไม่กี่คำจากค่าเฉลี่ยของย่อหน้า	ประโยคสั้นและกระชับวางอยู่ข้างประโยคยาวที่มีหลายอนุประโยค
เมื่ออ่านออกเสียง	จังหวะสม่ำเสมอ เรียบเนียน โดยไม่มีจุดหยุดตามธรรมชาติสำหรับการเน้นย้ำ	จังหวะที่เร่งขึ้นและช้าลง สอดคล้องกับตำแหน่งที่น้ำหนักเน้นย้ำตกอยู่จริง
สาเหตุทั่วไป	ผลลัพธ์ที่ยังไม่ผ่านการแก้ไขจากโมเดลที่คาดการณ์ประโยคถัดไปที่น่าจะเกิดขึ้นทีละประโยค หรือร่างแรกที่ไม่มีใครอ่านทวนออกเสียง	ผู้เขียนตัดประโยคให้สั้นลงเพื่อให้เกิดผลทางวาทศิลป์ หรือรวมประโยคสั้นสองประโยคให้เป็นประโยคเดียวที่มีความยาวสมเหตุสมผล

ทั้งสองคอลัมน์ไม่ได้เป็นการเขียนที่ดีโดยเนื้อแท้ ส่วนวิธีการที่ระบุขั้นตอนห้าขั้นตอนด้วยประโยคสั้นห้าประโยคก็ควรมีลักษณะเหมือนคอลัมน์ซ้าย และประโยคยาวคดเคี้ยวที่ใส่ลงไปในขั้นตอนที่มีการลำดับหมายเลขก็จะไม่ช่วยให้ดีขึ้น รูปแบบนี้จะให้ข้อมูลได้ก็ต่อเมื่อทราบแล้วว่ากำลังพิจารณาข้อความประเภทใดอยู่

เหตุใดประโยคที่สม่ำเสมอจึงถูกตั้งธง

เครื่องตรวจจับมองจังหวะที่ราบเรียบเป็นสัญญาณ เพราะวิธีการสร้างข้อความทำงานเช่นนั้น ไม่ใช่เพราะประโยคที่สม่ำเสมอมีความน่าสงสัยในตัวเองโดยลำพัง กลไกโดยรวมของ วิธีที่เครื่องตรวจจับ AI ทำงานจริง ได้อธิบายแยกไว้แล้ว, สรุปสั้น ๆ คือ โมเดลคาดการณ์โทเคนทีละตัว รวมถึงโดยนัยแล้วว่าเมื่อใดประโยคมีแนวโน้มจะจบลง จากข้อความที่มีอยู่จนถึงตอนนี้ ความยาวของประโยคบางแบบมีความน่าจะเป็นทางสถิติมากกว่ารูปแบบอื่นในแต่ละขณะ และโมเดลที่เลือกการต่อเนื่องที่มีความน่าจะเป็นสูงสุดอยู่เสมอ ก็จะลงเอยใกล้กับความยาวที่มีแนวโน้มแบบเดิมนั้นซ้ำแล้วซ้ำเล่า ประโยคแล้วประโยคเล่า ตลอดทั้งเอกสาร

ย่อหน้าที่ราบเรียบเพียงย่อหน้าเดียวไม่ได้พิสูจน์อะไรในตัวมันเอง, ส่วนข้อความเชิงขั้นตอนที่สั้นก็ควรมีลักษณะเช่นนั้น สิ่งที่เครื่องตรวจจับกำลังประเมินจริง ๆ คือรูปแบบตลอดทั้งเอกสาร, ว่าความราบเรียบในย่อหน้าเดียวเป็นการเลือกที่มีเจตนาเฉพาะในบริบทนั้น หรือเป็นจังหวะของทุกย่อหน้าในชิ้นงาน

ความสามารถในการคาดเดาแบบคำต่อคำ เป็นการวัดที่เกี่ยวข้องแต่แยกต่างหาก ซึ่งได้อธิบายไว้ในเงื่อนไขของมันเองในที่อื่นของเว็บไซต์นี้ และพิจารณาการเลือกคำแต่ละคำมากกว่ารูปร่างของประโยค

ไม่มีสิ่งใดในนี้พิสูจน์ได้ว่าเอกสารถูกสร้างโดยโมเดล และการมองจังหวะที่ราบเรียบว่าเป็นข้อสรุปชี้ขาดเพียงลำพังจะเป็นการทำผิดพลาดแบบเดียวกับการมองค่าความสับสนเพียงค่าเดียวว่าเป็นข้อสรุปชี้ขาด ร่างแรกที่เร่งเขียนขึ้นโดยไม่มีใครอ่านออกเสียงอาจทำให้จังหวะราบเรียบได้ไม่ยากพอๆ กับที่ข้อความที่สร้างขึ้นก็ทำได้ นี่เป็นส่วนหนึ่งของเหตุผลที่ค่า Human Score ที่ TextPulse ประเมินเองนำความแปรผันระดับประโยคมารวมกับสัญญาณอื่นอีกหลายอย่าง แทนที่จะยึดอยู่กับสัญญาณใดสัญญาณหนึ่งเพียงอย่างเดียว และเป็นเหตุผลว่าทำไม เครื่องมือวินิจฉัยฟรี บนเว็บไซต์นี้จึงถูกสร้างขึ้นให้ต้องอ่านร่วมกัน ไม่ใช่อ่านแยกกัน

คำถามติดตามผลสองข้อสำคัญกว่าคำจำกัดความ ข้อหนึ่งคือ ตัวตรวจจับยังให้น้ำหนัก burstiness แบบเดียวกับที่ทำในปี 2023 หรือไม่ และอีกข้อคือ จะเพิ่มมันในร่างของตนเองอย่างไร โดยไม่ทำลายร้อยแก้ว

ย่อหน้าที่ราบเรียบไม่ใช่เรื่องลึกลับเมื่อกลไกเบื้องหลังมันมองเห็นได้ มันคือสิ่งที่เกิดขึ้นเมื่อทุกประโยคถูกสร้างขึ้นในแบบเดียวกับที่คำถัดไปเพียงคำเดียวถูกสร้างขึ้น, โดยเอื้อมไปหาสิ่งที่มาถัดไปด้วยแรงต้านน้อยที่สุด ว่าแรงกดดันนั้นจะชนะหรือไม่ขึ้นอยู่กับผู้เขียน หรือโมเดล ที่จะต้านมันกลับทีละประโยค