AI Detectors ทำงานอย่างไร? Perplexity, Burstiness และความน่าจะเป็นของโทเคน

มหาวิทยาลัยของคุณได้เริ่มนำงานที่ส่งเข้าระบบผ่านตัวตรวจจับ AI แล้ว และมีรายงานกลับมาพร้อมตัวเลขที่คุณไม่ได้คาดไว้ ก่อนที่คุณจะพยายามโต้แย้งรายงานนั้น การเข้าใจว่าตัวเลขนั้นหมายถึงอะไรย่อมเป็นประโยชน์ ตัวตรวจจับ AI ทำงานอย่างไร? มันไม่ได้อ่านงานเขียนของเครื่องเหมือนที่คนอ่าน มันวัดว่าข้อความของคุณคาดเดาได้มากเพียงใดสำหรับแบบจำลองภาษา แล้วแปลงความคาดเดาได้นั้นเป็นคะแนน ไม่มีสิ่งใดในกระบวนการนั้นที่พิจารณาว่าคุณหมายถึงอะไร ข้อโต้แย้งของคุณคืออะไร หรือคุณเป็นคนเขียนงานนั้นจริงหรือไม่

ฉันใช้เวลาหลายปีในการสร้างเครื่องมือที่แยกวิเคราะห์ข้อความในเชิงสถิติ และสิ่งที่มีประโยชน์ที่สุดเพียงอย่างเดียวที่ควรเข้าใจเกี่ยวกับการตรวจจับคือสิ่งนี้, มันคือการวัดความเป็นแบบฉบับ ไม่ใช่การวัดแหล่งที่มา เมื่อเข้าใจตรงนี้แล้ว ทั้งเทคโนโลยีและความล้มเหลวของมันก็จะสมเหตุสมผลขึ้นมาก

ตัวตรวจจับกำลังวัดอะไรจริง ๆ

ตัวตรวจจับไม่รู้ว่าใครเป็นผู้เขียนอะไร สิ่งที่มันมีคือแบบจำลองภาษาและฟังก์ชันการให้คะแนน แบบจำลองอ่านข้อความของคุณจากซ้ายไปขวา และในแต่ละจุดมันจะสร้างการแจกแจงความน่าจะเป็นของคำถัดไปที่ควรจะมา หากให้คำว่า "the results of the" มันจะจัดอันดับ "study" ไว้สูงสุด, "experiment" ต่ำลงมาเล็กน้อย, และ "marmalade" อยู่ใกล้ศูนย์

ดังนั้นตัวตรวจจับจึงถามคำถามหนึ่งข้อกับเอกสารของคุณ, ข้อความนี้เลือกคำที่แบบจำลองคาดไว้บ่อยเพียงใด การเขียนที่มักลงเอยด้วยคำที่มีความน่าจะเป็นสูงดูเหมือนงานที่สร้างโดยเครื่องจักร เพราะนั่นคือสิ่งที่ตัวสร้างข้อความทำพอดี แบบจำลองสุ่มตัวอย่างจากส่วนบนสุดของการแจกแจงของมันเองซ้ำแล้วซ้ำเล่า เป็นเวลาหลายพันโทเคน

นี่คือเหตุผลที่หมวดหมู่นี้ยืนอยู่บนพื้นฐานที่ไม่มั่นคงเท่าที่การตลาดบอกไว้ ตัวตรวจจับไม่ได้กำลังหาลายน้ำหรือรอยนิ้วมือ มันเพียงสังเกตว่าร้อยแก้วของคุณไม่น่าประหลาดใจในเชิงสถิติ และร้อยแก้วที่ไม่น่าประหลาดใจมีสาเหตุได้หลายอย่างนอกเหนือจากแชตบอต

Perplexity, แบบจำลองรู้สึกประหลาดใจมากเพียงใด

ตัวชี้วัดหลักเรียกว่า perplexity ซึ่งเข้าใจง่ายกว่าที่ฟังดู ให้เอาความน่าจะเป็นที่โมเดลกำหนดให้กับแต่ละคำที่ปรากฏจริง มาเฉลี่ยลอการิทึมของความน่าจะเป็นเหล่านั้น แล้วนำผลลัพธ์มายกกำลัง สิ่งที่ได้คือค่าจำนวนเดียวที่อธิบายว่าโมเดลรู้สึกประหลาดใจกับเอกสารของคุณมากเพียงใด คุณสามารถตรวจสอบ perplexity ของร่างของคุณเองแทนการคาดเดาได้

perplexity ต่ำหมายความว่าข้อความดำเนินไปในทิศทางที่โมเดลคาดไว้ perplexity สูงหมายความว่าข้อความนั้นเปลี่ยนทิศทางไปเรื่อย ๆ ในแบบที่โมเดลไม่คาดคิด งานเขียนของมนุษย์มักอยู่ในระดับที่สูงกว่า เพราะผู้คนมักหยิบคำนามเฉพาะที่แปลก การสร้างประโยคที่ไม่ธรรมดา หรือประโยคที่เริ่มต้นจากจุดที่ไม่คาดคิด ข้อความที่สร้างขึ้นมักอยู่ในระดับที่ต่ำกว่า เพราะกระบวนการถอดรหัสถูกออกแบบมาเพื่อหลีกเลี่ยงการเคลื่อนไหวแบบนั้นโดยตรง

ลองเปรียบเทียบสองวิธีในการเปิดหัวข้อวิธีวิจัย "The results of the study were statistically significant" เป็นลำดับคำที่แทบทุกโมเดลจะคาดได้ด้วยความมั่นใจสูง เพราะมันไม่ให้ข้อมูลที่ไม่คาดคิดเลย "Two of the three cohorts drifted before week six, which we had not planned for" คาดเดาได้ยากกว่ามาก เพราะมันให้ข้อมูลเฉพาะเจาะจงและขัดหูขัดตาที่ไม่อาจเดาจากส่วนอื่นของบทความได้ ประโยคที่สองทำให้ตัวตรวจจับต้องเผชิญกับความประหลาดใจจริง และความประหลาดใจนั้นเองที่ถูกตีความว่าเป็นลักษณะของมนุษย์

Burstiness: ความแปรปรวน ไม่ใช่ค่าเฉลี่ย

perplexity เพียงอย่างเดียวไม่เพียงพอ เพราะเอกสารอาจเฉลี่ยออกมาเป็นตัวเลขที่สมเหตุสมผลอย่างยิ่ง แต่ภายในกลับมีความสม่ำเสมอที่น่าสงสัย สิ่งที่สำคัญคือความแปรผันตลอดทั้งข้อความ และนั่นคือสิ่งที่ burstiness วัด, คือระดับที่ความยาวของประโยคและ perplexity ในระดับประโยคแกว่งขึ้นลงไปตามการดำเนินของงานเขียน burstiness checker จะทำให้คุณเห็นการกระจายนั้นโดยตรง

เราจะเร่งขึ้นเมื่อมั่นใจ และช้าลงเมื่อกำลังระมัดระวังถ้อยคำ และจังหวะนั้นยังคงอยู่ในร้อยแก้ว ผู้คนเขียนเป็นช่วง ๆ ย่อหน้าอาจเริ่มด้วยประโยคบอกเล่าสั้น ๆ แปดคำ จากนั้นเข้าสู่ประโยคยาวสามสิบสี่คำที่มีสามอนุประโยคและวงเล็บ แล้วค่อยลดกลับไปเป็นถ้อยคำที่กระชับ

ผลลัพธ์ของโมเดลไม่ได้ทำเช่นนี้อย่างน่าเชื่อถือ ประโยคจะรวมตัวกันใกล้ความยาวเฉลี่ย ย่อหน้าจะมาเป็นชุดที่เรียบร้อย แต่ละส่วนเริ่มต้นด้วยการกล่าวซ้ำหัวข้อของตนเอง มันอ่านได้ลื่นไหลและได้คะแนนแย่ เพราะความแปรปรวนที่ต่ำระหว่างประโยคเป็นหนึ่งในสัญญาณที่แรงที่สุดที่ตัวตรวจจับมี ไม่ใช่ประโยคใดประโยคหนึ่งที่ทำให้จับได้ แต่เป็นความสม่ำเสมอ

สัญญาณ	สิ่งที่วัด	เหตุใดข้อความที่สร้างโดยเครื่องจึงได้คะแนนต่ำ
Perplexity	ระดับความประหลาดใจของโมเดลต่อการเลือกคำของคุณ โดยเฉลี่ยตลอดทั้งเอกสาร	การถอดรหัสสุ่มตัวอย่างจากโทเคนที่มีความน่าจะเป็นสูงโดยการออกแบบ
Burstiness	ระดับที่ความยาวประโยคและความคาดเดาได้แปรผันไปทั่วทั้งข้อความ	ผลลัพธ์รวมตัวใกล้ค่าเฉลี่ยแทนที่จะเหวี่ยงไปมา
Token probability	ความน่าจะเป็นรายคำที่อีกสองค่านี้คำนวณจาก	ลำดับยาวของการเลือกที่แต่ละคำไม่โดดเด่นเป็นพิเศษ

Token probability และที่มาของคะแนน

ตัวเลขทั้งสองนั้นสร้างจากตัวที่สาม คือ log-likelihood รายโทเคน ซึ่งเป็นวัตถุดิบที่ใช้คำนวณทุกอย่างที่เหลือ เครื่องมือบางชนิดแสดงค่านี้ให้เห็นโดยตรง โดยเน้นช่วงที่ข้อความของคุณคาดเดาได้มากที่สุด การเน้นเหล่านั้นไม่ใช่ข้อกล่าวหาเกี่ยวกับประโยคเฉพาะใด ๆ ไม่ว่าหน้าตาอินเทอร์เฟซจะสื่อเช่นไร มันคือส่วนที่มีส่วนทำให้ค่าระดับเอกสารมากที่สุด

แนวทางการวิจัยได้ก้าวข้ามเกณฑ์แบบง่ายแล้ว DetectGPT และงานต่อยอดของมันพิจารณาความโค้ง: พวกมันรบกวนข้อความของคุณเล็กน้อยและตรวจดูว่าความน่าจะเป็นลดลงตามรูปแบบที่ข้อความที่สร้างขึ้นมักแสดงหรือไม่ วิธีอื่น ๆ เปรียบเทียบข้อความเดียวกันภายใต้โมเดลสองแบบที่ต่างกัน และใช้ความไม่ตรงกันนั้นเป็นสัญญาณ

ผลที่ตามมาประการหนึ่งมีความสำคัญต่อผู้ที่กำลังถูกประเมิน เนื่องจากตัวชี้วัดถูกคำนวณเทียบกับแบบจำลองอ้างอิงเฉพาะ คะแนนจึงเป็นแบบสัมพัทธ์กับแบบจำลองนั้นเสมอ ตัวตรวจจับสองตัวอาจอ่านข้อความย่อหน้าเดียวกันแล้วไม่เห็นพ้องกันโดยสิ้นเชิง และทั้งสองก็ไม่ได้ทำงานผิดปกติ พวกมันกำลังตอบคำถามเดียวกันโดยใช้จุดอ้างอิงที่ต่างกัน

ผลที่ตามมาประการที่สองมักถูกกล่าวถึงน้อยกว่า แบบจำลองจะพบว่าข้อความคาดเดาได้ก็ต่อเมื่อข้อความนั้นมีลักษณะคล้ายกับสิ่งที่มันถูกฝึกมา ดังนั้นคุณภาพของการตรวจจับจึงลดลงเมื่อช่องว่างระหว่างแบบจำลองอ้างอิงกับสิ่งใดก็ตามที่สร้างข้อความนั้นกว้างขึ้น ตัวสร้างข้อความรุ่นใหม่ สาขาวิชาที่ไม่คุ้นเคย และภาษาที่ไม่ใช่ภาษาอังกฤษ ล้วนทำให้ช่องว่างนั้นเปิดกว้างขึ้น นี่เป็นส่วนหนึ่งของเหตุผลที่ความแม่นยำซึ่งวัดได้ในเกณฑ์มาตรฐานที่ควบคุมอย่างเข้มงวดแทบไม่คงอยู่เมื่อเผชิญกับกองงานส่งจริง

เหตุใดข้อความ AI จึงถูกตรวจพบได้ตั้งแต่แรก

แบบจำลองภาษาเลือกคำถัดไปอย่างไร

หากปล่อยไว้ตามลำพัง แบบจำลองภาษาจะเพียงรายงานรายการคำถัดไปที่เป็นไปได้ทั้งหมดตามลำดับความน่าจะเป็น และปล่อยให้สิ่งอื่นเป็นผู้เลือก ในทางปฏิบัติ กลยุทธ์การถอดรหัสจะทำการเลือกนั้นโดยอัตโนมัติ คำต่อคำ และกลยุทธ์ที่กำลังทำงานอยู่จะเปลี่ยนลักษณะของผลลัพธ์ แม้ว่าแบบจำลองพื้นฐานจะไม่เปลี่ยนเลยก็ตาม

greedy decoding จะเลือกคำที่มีความน่าจะเป็นสูงสุดเพียงคำเดียวเสมอ ในบทความที่แนะนำ nucleus sampling เพื่อเป็นวิธีแก้ Ari Holtzman และผู้เขียนร่วมสังเกตว่า การทำตามกลยุทธ์นี้นำไปสู่ข้อความที่ตามคำของพวกเขาเองคือ 'จืดชืดและซ้ำซากอย่างประหลาด' beam search ซึ่งติดตามความต่อเนื่องที่มีแนวโน้มหลายแบบพร้อมกันก่อนจะตัดสินใจเลือกแบบใดแบบหนึ่ง ก็ประสบปัญหาในลักษณะเดียวกัน

กลยุทธ์การสุ่มตัวอย่างนำความสุ่มกลับมาอีกครั้ง แต่เป็นแบบที่ควบคุมได้ Temperature ปรับว่าระบบให้ความสำคัญกับตัวเลือกอันดับต้นของตนเองมากเพียงใดก่อนที่จะสุ่มเลือกคำ nucleus sampling ซึ่งบางครั้งเรียกว่า top-p จะตัดการแจกแจงให้เหลือชุดคำที่เล็กที่สุดซึ่งความน่าจะเป็นรวมกันเกินเกณฑ์ที่กำหนด และสุ่มเลือกจากชุดนั้นเท่านั้น โดยในบทความต้นฉบับอธิบายว่าเป็นการสุ่มตัวอย่างจากนิวเคลียสแบบพลวัตของการแจกแจง แทนที่จะเป็นหางที่ไม่น่าเชื่อถือของมัน

แม้แต่การตั้งค่าที่มีความเป็นกำหนดน้อยที่สุดก็ยังอาศัยรายการคำที่คัดเลือกไว้ซึ่งสร้างขึ้นจากสิ่งที่โมเดลมองว่าน่าจะเป็นไปได้อยู่แล้ว การเขียนของมนุษย์ไม่เคยถูกสร้างขึ้นโดยการจัดอันดับคำศัพท์แล้วสุ่มจากส่วนบนของรายการนั้น ดังนั้นจึงก้าวข้ามรายการคัดเลือกนั้นอยู่เสมอ ความหมายบางครั้งอาศัยอยู่ในคำที่ไม่เคยอยู่ในรายการเลย

ความแบนราบของคำศัพท์, คำที่น้อยลงและปลอดภัยกว่า

ความแบนราบของคำศัพท์คือรูปแบบในระดับคำของนิสัยเดียวกันนี้ ในแต่ละจุดของประโยค มีคำหลายสิบคำที่อาจต่อเนื่องได้อย่างสมเหตุสมผล แต่มีเพียงไม่กี่คำที่อยู่สูงกว่าคำอื่นอย่างมากในการจัดอันดับของโมเดล และการถอดรหัสก็ยังคงลงเอยที่คำไม่กี่คำนั้น เมื่อคูณการเลือกนั้นเข้ากับทุกประโยคในเอกสาร ช่วงของคำที่ใช้จริงจะแคบลงอย่างวัดได้เมื่อเทียบกับงานเขียนของมนุษย์ที่มีความยาวใกล้เคียงกัน

ผลกระทบนี้ทวีขึ้น ไม่ได้คงที่ โมเดลที่เอื้อมไปหาคำที่มีอันดับสูงสุดในประโยคแรก มีแนวโน้มมากขึ้นที่จะสร้างบริบทที่ทำให้คำที่มีอันดับสูงสุดในประโยคที่สองก็เป็นคำที่พบได้ทั่วไปเช่นกัน เพราะคำที่พบได้ทั่วไปมักตามหลังคำที่พบได้ทั่วไป ผู้เขียนที่เป็นมนุษย์ขัดจังหวะการไหลนี้อยู่เสมอ โดยเลือกใช้คำศัพท์เทคนิคเฉพาะ คำกริยาที่ไม่ค่อยพบ คำที่ตั้งชื่อสิ่งที่เป็นจริงจริง ๆ แทนที่จะเป็นเพียงการประมาณอย่างปลอดภัย ความแตกต่างนั้นปรากฏเป็นคลังคำที่ใช้งานจริงซึ่งมีขนาดเล็กกว่าอย่างวัดได้ในฉบับที่สร้างขึ้น แม้ว่าทั้งสองฉบับจะอธิบายข้อเท็จจริงพื้นฐานเดียวกันก็ตาม

นี่เป็นคุณสมบัติของข้อความทั้งตอน ไม่ใช่ของการเลือกคำเพียงคำเดียว คำที่ปลอดภัยเพียงคำเดียวพิสูจน์อะไรไม่ได้ หน้าเอกสารที่เต็มไปด้วยคำเช่นนั้น ประโยคแล้วประโยคเล่าเอื้อมไปหาคำศัพท์สามัญในระดับอันดับเดียวกัน นั่นต่างหากคือสิ่งที่สัญญาณในระดับคำของตัวตรวจจับถูกสร้างขึ้นมาเพื่อตรวจพบ

ความสม่ำเสมอทางวากยสัมพันธ์, รูปแบบเดิมที่ถูกทำซ้ำ

ความสม่ำเสมอทางวากยสัมพันธ์คือรูปแบบในระดับประโยค ไม่ได้เกี่ยวกับว่าประโยคยาวเพียงใด แต่เกี่ยวกับว่าข้อความหนึ่งใช้รูปแบบไวยากรณ์ที่แตกต่างกันกี่แบบ, ประโยคเปิดอย่างไร, อนุประโยคเชื่อมต่อกันอย่างไร, และคำเชื่อมเปลี่ยนผ่านทำหน้าที่เชื่อมความคิดหนึ่งไปสู่อีกความคิดบ่อยเพียงใด โมเดลที่คอยทำนายโครงสร้างถัดไปที่มีแนวโน้มทางสถิติมากที่สุดจะลงเอยด้วยการหมุนเวียนรูปแบบเพียงไม่กี่แบบและทำซ้ำมัน

ย่อหน้าหนึ่งสามารถทำให้ความยาวของประโยคแตกต่างกันได้ และยังคงอ่านได้อย่างราบเรียบในเชิงวากยสัมพันธ์ หากทุกประโยคเป็นไปตามรูปแบบ ประธาน-กริยา-ส่วนเติมเต็ม เดิม เปิดด้วยชนิดของตัวเชื่อมแบบเดียวกัน หรือจบลงในลักษณะเดียวกัน ความคาดเดาได้อยู่ที่รูปแบบ ไม่ใช่จำนวนคำ ซึ่งเป็นความแตกต่างที่อธิบายอย่างละเอียดมากขึ้นในคู่มือเกี่ยวกับ burstiness วัดอะไรจริง ๆ

สิ่งที่ทำให้แคบลง	สิ่งที่ข้อความที่ปรับให้เหมาะกับการถอดรหัสมักทำ	สิ่งที่งานเขียนของมนุษย์มักทำ
การเลือกคำ	เลือกคำทั่วไปที่มีความน่าจะเป็นสูงที่สุดในแต่ละขั้น	เลือกคำที่เฉพาะเจาะจงหรือพบได้น้อยกว่า ซึ่งตั้งชื่อสิ่งนั้นจริง ๆ
การเปิดประโยค	ใช้รูปแบบการเปิดด้วยตัวเชื่อมที่ปลอดภัยซ้ำ ๆ ในวงจำกัด	ทำให้วิธีเริ่มต้นประโยคหลากหลาย รวมถึงการเปิดที่แบบจำลองจะจัดอันดับว่ามีโอกาสน้อยกว่า
โครงสร้างอนุประโยค	ทำซ้ำโครงสร้างไวยากรณ์ที่ชอบหนึ่งหรือสองแบบตลอดทั้งข้อความ	ผสมโครงสร้างแบบง่ายและแบบซับซ้อนตามสิ่งที่ประโยคนั้นต้องการ

ทางเลือกที่มีแนวโน้มว่ามีเพียงมนุษย์เท่านั้นที่จะทำ

อีกด้านหนึ่งของช่วงที่แคบคือสิ่งที่อยู่นอกช่วงนั้น ผู้ที่บรรยายเหตุการณ์จริงจะเลือกตัวเลขที่แน่นอนแทนที่จะใช้ตัวเลขกลม ๆ ยอมรับส่วนที่ไม่สำเร็จ ขัดจังหวะประโยคเพื่อแก้ไขกลางความคิด หรือเลือกคำที่ถูกต้องมากกว่าคำที่เป็นแบบทั่วไป การเลือกแต่ละอย่างเหล่านี้ จากมุมมองของแบบจำลองภาษา คือโทเคนที่มีความน่าจะเป็นต่ำ ซึ่งเป็นชนิดเดียวกับที่การถอดรหัสถูกสร้างขึ้นมาเพื่อหลีกเลี่ยง

ทั้งหมดนี้ไม่ได้หมายความว่างานเขียนที่เฉพาะเจาะจงหรือไม่ธรรมดาจะปลอดจากการถูกตั้งธงทุกกรณี หรือว่างานเขียนที่คล่องแคล่วและถูกต้องจะน่าสงสัยโดยอัตโนมัติ ส่วนวิธีการ, ข้อความทางกฎหมาย หรือฉบับร่างสุดท้ายที่ผ่านการแก้ไขอย่างหนัก อาจอยู่ในช่วงที่แคบได้ด้วยเหตุผลที่ไม่เกี่ยวกับแบบจำลองเลย ซึ่งเป็นเหตุผลว่าทำไมคะแนนเพียงค่าเดียวจึงเป็นเพียงคำอธิบายของรูปแบบ มากกว่าจะเป็นคำตัดสินว่าใครเป็นผู้พิมพ์มัน

การเห็นว่างานร่างของตนเองอยู่ตรงไหนบนช่วงนั้นมีประโยชน์กว่าการคาดเดา TextPulse's free perplexity checker และ burstiness checker วัดความคาดเดาได้ของคำในระดับคำและจังหวะจากประโยคหนึ่งไปสู่อีกประโยคแยกจากกัน ดังนั้นคำศัพท์ที่แบนราบและรูปแบบประโยคที่ซ้ำกันจึงปรากฏเป็นสัญญาณสองแบบที่ต่างกัน แทนที่จะถูกรวมเป็นตัวเลขเดียว

มีหน้าที่แคบลงสองหน้าที่ตามมาจากเรื่องนี้ How Turnitin detects AI specifically เป็นหนึ่งหน้า และ the difference between its similarity score and its AI score เป็นอีกหนึ่งหน้า เนื่องจากทั้งสองมักถูกเข้าใจผิดว่าเป็นสิ่งเดียวกัน

ทั้งสองหน้าอยู่ภายใน free tools collection ที่กว้างกว่า สำหรับผู้ที่ต้องการเห็นรูปแบบนั้นด้วยตนเอง แทนที่จะเชื่อเพียงตัวเลขเดียวอย่างไม่ไตร่ตรอง

ปัจจุบันเว็บส่วนใดถูกสร้างโดย AI มากเพียงใด?

ตามหลายเกณฑ์ ข้อความที่ผลิตโดยเครื่องจักรในปัจจุบันมีปริมาณมากกว่าข้อความที่มนุษย์เขียนบนออนไลน์ ทีมหนึ่งที่ Amazon Web Services วิเคราะห์ประโยค 6.4 พันล้านประโยคจากเว็บ และพบว่า 57.1% existed as machine translations ในสามภาษาหรือมากกว่า โดยส่วนใหญ่มีคุณภาพต่ำ การวิเคราะห์ในปี 2025 โดยบริษัท SEO Graphite พบว่า บทความบนเว็บที่เผยแพร่ใหม่มากกว่าครึ่งเล็กน้อยถูกสร้างโดย AI Wikipedia ก็ไม่ใช่ข้อยกเว้น การศึกษาของ Princeton เกี่ยวกับหน้าที่สร้างขึ้นในเดือนสิงหาคม 2024 วัดได้ว่า around one in twenty new English articles ถูกสร้างโดย AI อย่างมีนัยสำคัญ

สัดส่วนนี้กำลังเพิ่มขึ้น เพราะต้นทุนของผลลัพธ์จากโมเดลต่ำกว่าการเขียนของมนุษย์หลายลำดับขั้น และแรงจูงใจเชิงพาณิชย์ทุกอย่างก็ชี้ไปในทิศทางเดียวกัน แพลตฟอร์มทั้งระบบในปัจจุบันบางแห่งดำเนินการโดยไม่มีนักเขียนมนุษย์เลย Chirper เป็นเครือข่ายสังคมที่มีบัญชี AI อยู่ทั้งหมด ซึ่งมนุษย์ทำได้เพียงเฝ้าดู และ SocialAI ขายฟีดที่ทุกคำตอบที่ส่งถึงคุณเป็นบอต ฟอรัม ส่วนแสดงความคิดเห็น และเธรดคอมเมนต์ก็มีรูปแบบเดียวกันนี้ในขนาดที่เล็กกว่า

สำหรับการตรวจจับ สิ่งนี้เปลี่ยนค่าอัตราฐาน ตัวจำแนกที่อ่านข้อความเว็บแบบสุ่มในปี 2023 อาจสมมติว่าส่วนใหญ่เป็นงานของมนุษย์ แต่ตัวจำแนกในปี 2026 ไม่อาจทำเช่นนั้นได้ นอกจากนี้ยังย้อนกลับไปมีผลต่อแบบจำลองเองด้วย เพราะแต่ละรุ่นใหม่ฝึกบนเว็บที่รุ่นก่อนหน้าได้เขียนเนื้อหาไว้แล้ว ซึ่งเป็นเหตุผลหนึ่งที่พฤติกรรมคำศัพท์ที่ตัวตรวจจับใช้เป็นจุดสังเกตจึงแพร่กระจายมากกว่าจางหาย

สำหรับงานเขียนของคุณเอง ผลที่ตามมาชัดเจนมาก, ร้อยแก้วที่มนุษย์เขียนกำลังกลายเป็นกลุ่มส่วนน้อย และผู้ตรวจแก้ไข รวมถึงผู้อ่านก็รู้เรื่องนี้ดี ความสงสัยที่เพิ่มขึ้นจึงกลายเป็นค่าเริ่มต้น ซึ่งนั่นเองคือเหตุผลว่าทำไมการเข้าใจว่าตัวตรวจจับวัดอะไรได้และวัดอะไรไม่ได้จึงคุ้มค่า

สิ่งที่ตัวตรวจจับเชิงพาณิชย์เพิ่มเข้ามา

เครื่องมือที่สถาบันต่าง ๆ ซื้อจริงไม่ได้ใช้ perplexity ตามตำรา Turnitin, GPTZero, Originality และเครื่องมืออื่น ๆ ฝึกตัวจำแนกแบบมีผู้กำกับบนชุดข้อมูลขนาดใหญ่ที่ติดป้ายกำกับแล้วของข้อความที่มนุษย์และเครื่องจักรสร้าง โดยใช้ลักษณะเชิงสถิติร่วมกับลักษณะเชิงสำนวน สิ่งที่ตัวจำแนกเรียนรู้คืออะไรก็ตามที่แยกกองสองกองนั้นออกจากกันในข้อมูลฝึกของมัน ซึ่งเป็นสิ่งที่แคบกว่าและมีลักษณะทางประวัติศาสตร์มากกว่า "AI writing" โดยทั่วไป

การพึ่งพาการฝึกเป็นปัญหาเงียบ ๆ ตัวจำแนกที่ฝึกหลัก ๆ บนผลลัพธ์ของแบบจำลองรุ่นหนึ่งต้องทำให้ใช้ได้กับแบบจำลองรุ่นใหม่ กับสาขาวิชาที่ไม่คุ้นเคย และกับผู้เขียนที่ภาษาอังกฤษไม่คล้ายการกระจายของข้อมูลฝึกของมัน ผู้จำหน่ายเผยแพร่ตัวเลขความแม่นยำจากการประเมินของตนเอง และเกณฑ์มาตรฐานอิสระก็มักออกมาต่ำกว่าตัวเลขเหล่านั้นอย่างมากเมื่อทดสอบเครื่องมือเดียวกัน

การอ่านคะแนนโดยไม่อ่านเกินไป

รายงานจากตัวตรวจจับมักมาในรูปเปอร์เซ็นต์ และเปอร์เซ็นต์นั้นก็มักถูกตีความผิดอยู่เสมอ มันไม่ใช่สัดส่วนของเอกสารของคุณที่เครื่องจักรเขียน ขึ้นอยู่กับเครื่องมือ มันอาจเป็นค่าความเชื่อมั่นของตัวจำแนก หรือสัดส่วนของประโยคที่ข้ามเกณฑ์ภายในบางอย่าง และผู้จำหน่ายก็มักคลุมเครือว่าเป็นแบบใด รายงานสองฉบับที่แสดงหกสิบเปอร์เซ็นต์เหมือนกันอาจหมายถึงสิ่งที่ต่างกันมาก

นอกจากนี้ ยังควรทราบด้วยว่าอะไรทำให้คะแนนเปลี่ยนไปด้วยเหตุผลที่ไม่เกี่ยวข้องกับผู้เขียนเลย เอกสารที่สั้นกว่าจะมีสัญญาณรบกวนมากกว่า เพราะมีข้อความน้อยกว่าที่จะทำให้ค่าเฉลี่ยนิ่งลง และเรียงความ 500 คำอาจแกว่งได้มากจากประโยคที่ไม่ปกติสองหรือสามประโยค ข้อความที่อ้างอิงก็ถูกนับด้วย เว้นแต่เครื่องมือนั้นจะตัดออกไป ดังนั้นบททบทวนวรรณกรรมที่เต็มไปด้วย block quotes จึงรับเอาความคาดเดาได้ของสิ่งที่มันอ้างมา ส่วนข้อความเชิงเทคนิคที่อัดแน่นด้วยคำศัพท์มาตรฐานก็มีพฤติกรรมแบบเดียวกัน

หากคุณเป็นฝ่ายที่ได้รับการแจ้งเตือน การตอบสนองที่เป็นประโยชน์คือหลักฐาน ไม่ใช่การโต้แย้งเกี่ยวกับตัวชี้วัด ประวัติการแก้ไข ร่าง บันทึก และบันทึกการค้นหาล้วนบ่งชี้ถึงกระบวนการ และกระบวนการคือสิ่งที่คณะพิจารณาการประพฤติมิชอบสามารถประเมินได้จริง ไม่มีเกณฑ์ใดที่ใครจะชี้ได้ว่าเป็นเส้นแบ่งระหว่างผู้เขียนที่รอบคอบกับโมเดล

เหตุใดตัวตรวจจับจึงแจ้งงานเขียนที่ไม่มีโมเดลใดสร้างขึ้น

ผลบวกลวงไม่ใช่ความขัดข้องที่เกิดขึ้นไม่บ่อย มันเป็นผลโดยตรงจากการวัดความเป็นแบบฉบับ งานเขียนใดก็ตามที่คาดเดาได้จริงก็จะได้คะแนนว่าเป็นสิ่งที่คาดเดาได้ ไม่ว่าผู้สร้างจะเป็นใคร

ผู้เขียนภาษาอังกฤษที่ไม่ใช่เจ้าของภาษา ได้รับผลกระทบมากที่สุด นักวิจัยจาก Stanford พบว่าตัวตรวจจับจัดประเภทเรียงความของผู้ที่ไม่ใช่เจ้าของภาษาเป็นข้อความที่สร้างโดยเครื่องผิดในสัดส่วนสูง ขณะที่จัดประเภทเรียงความของเจ้าของภาษาได้ถูกต้อง เหตุผลนั้นเป็นเชิงกลไกมากกว่าจะเป็นเจตนาร้าย ผู้เขียนที่ทำงานในภาษาที่สองมักพึ่งพาโครงสร้างที่ใช้กันจนชินและคำศัพท์ที่พบได้ทั่วไปมากกว่า นั่นคือโปรไฟล์ของ perplexity ต่ำพอดี ซึ่งเป็นเหตุผลที่ ESL writers ถูกแจ้งเตือนเพราะเขียนอย่างรอบคอบ

ธรรมเนียมทางวิชาการก็ก่อให้เกิดปัญหาเดียวกัน ส่วนวิธีดำเนินการควรมีลักษณะเป็นสูตรตายตัว การเขียนทางกฎหมาย เอกสารทางเทคนิค และรายงานทางคลินิก ล้วนให้รางวัลกับถ้อยคำมาตรฐานมากกว่าถ้อยคำที่สร้างสรรค์ การแก้ไขอย่างหนักยิ่งทำให้ปัญหานี้รุนแรงขึ้น เพราะการขัดเกลาร่างมักหมายถึงการลบความไม่สม่ำเสมอที่เป็นลายเซ็นทางสถิติของคุณออกไป

สถาบันต่าง ๆ สังเกตเห็นแล้ว Vanderbilt ปิดใช้งานฟีเจอร์การตรวจจับ AI ของ Turnitin แทนที่จะดำเนินการตามคะแนนที่ไม่สามารถตรวจสอบได้ และมหาวิทยาลัยอื่น ๆ ได้จำกัดวิธีการใช้ตัวเลขเหล่านี้ในกระบวนการพิจารณาความประพฤติมิชอบ ให้ถือว่าคะแนนจากตัวตรวจจับเป็นเพียงหลักฐานที่อ่อนมากหนึ่งชิ้น ไม่ใช่คำตัดสิน

สิ่งนี้หมายความว่าอย่างไรต่อการเขียนของคุณเอง

คำแนะนำเชิงปฏิบัติที่ตามมาจากกลไกดังกล่าวไม่ได้แปลกประหลาด และไม่มีข้อใดเกี่ยวข้องกับการเล่นกลกับระบบใด ๆ จงปรับความยาวประโยคของคุณอย่างตั้งใจ เพราะความสม่ำเสมอคือสิ่งที่ถูกจับสัญญาณ จงคงรายละเอียดเฉพาะไว้, ตัวเลขจริง, ข้อจำกัดจริง, สิ่งที่ผิดพลาดในสัปดาห์ที่หก ความสามารถทั่วไปแบบกว้าง ๆ คือสิ่งที่ได้คะแนนว่าเป็นงานที่สร้างโดยเครื่องจักร และความเฉพาะเจาะจงเป็นทั้งการเขียนที่ดีกว่าและเป็นสัญญาณที่แข็งแรงกว่า

จงคงสำนวนของคุณเองไว้ด้วย หากคุณมีวิธีการพูดหรือเขียนในแบบของตนเอง ก็ปล่อยให้มันอยู่เช่นนั้น แรงผลักดันที่จะขัดเกลาร่างงานจนมันฟังดูเหมือนบทความอื่นทุกชิ้นในสาขานั้น คือแรงผลักดันเดียวกันกับที่ทำให้ perplexity ของคุณลดลง

สิ่งหนึ่งที่ควรหลีกเลี่ยง, เครื่องมือบางชนิดจงใจใส่ข้อผิดพลาดทางไวยากรณ์เพื่อเพิ่ม perplexity มันได้ผลกับตัวชี้วัด และเป็นความคิดที่แย่มากสำหรับงานใด ๆ ที่มีการให้คะแนนหรือผ่านการประเมินโดยผู้ทรงคุณวุฒิ เพราะคุณกำลังแลกความสงสัยหนึ่งอย่างกับความแน่นอนหนึ่งอย่าง เป้าหมายคือการเขียนที่อ่านแล้วเป็นของคุณ ไม่ใช่การเขียนที่ถูกทำให้เสียหายโดยตั้งใจ นั่นคือความแตกต่างทั้งหมดระหว่าง การเรียบเรียงใหม่เพื่อผู้อ่านที่เป็นมนุษย์ กับการทำลายข้อความเพื่อหลอกคะแนน

หากคุณต้องการดูตัวเลขเหล่านี้สำหรับร่างงานของคุณเอง แทนที่จะเชื่อกล่องดำตามคำกล่าวอ้างของมัน การวัดพื้นฐานเหล่านี้ไม่ได้เป็นความลับ เครื่องมือวิเคราะห์ข้อความฟรี จะช่วยแสดงให้เห็นว่างานเขียนของคุณอยู่ตรงไหน และคุณสามารถตัดสินใจได้ด้วยตนเองว่าช่วงที่ราบเรียบนั้นเป็นปัญหาด้านสไตล์ที่ควรแก้ไขหรือไม่