GPTZero ทำงานอย่างไร
GPTZero ทำให้ perplexity และ burstiness เป็นที่รู้จัก จากนั้นก็ยุติการใช้ทั้งสองอย่างอย่างเงียบ ๆ นี่คือสิ่งที่ตัวจำแนกของมันวัดในปัจจุบัน, รายงานแสดงอะไรจริง ๆ และเครื่องมือนี้ระบุข้อจำกัดของตนเองไว้อย่างไร
พิมพ์ "how gptzero works" ลงในแถบค้นหา แล้วสิ่งที่ปรากฏกลับมาส่วนใหญ่ยังคงอธิบาย perplexity และ burstiness ซึ่งเป็นสถิติสองตัวที่ผู้ก่อตั้งของมันทำให้เป็นที่รู้จักในช่วงสัปดาห์แรกหลังการเปิดตัวของ ChatGPT คำอธิบายนั้นถูกต้องในเดือนมกราคม 2023 ตั้งแต่นั้นมา คำอธิบายนั้นก็ไม่ถูกต้องอีกต่อไป เพราะตั้งแต่ฤดูใบไม้ร่วงของปีนั้น เอกสารประกอบของ GPTZero เองระบุว่าบริษัทได้แทนที่วิธีดังกล่าวด้วยสิ่งอื่นโดยสิ้นเชิง ช่องว่างระหว่างสิ่งที่เครื่องมือนี้ทำในช่วงเปิดตัวกับสิ่งที่มันทำในปัจจุบันกว้างพอที่คำอธิบายส่วนใหญ่ที่ยังคงเผยแพร่อยู่ในวันนี้จะอธิบายผลิตภัณฑ์ที่ไม่มีอยู่แล้ว
ปัจจุบัน GPTZero ใช้ตัวจำแนกระดับประโยคกับคลังข้อความผสมขนาดใหญ่ที่ประกอบด้วยข้อความที่มนุษย์สร้างและข้อความที่ AI สร้าง แทนการคำนวณ perplexity ปัจจุบัน GPTZero ยังคงให้ตัวเลขสรุปเพียงตัวเดียว แต่การคำนวณแตกต่างออกไป การเน้นระดับประโยคใต้ตัวเลขสรุปก็มีความหมายต่างจากในปี 2023 เช่นกัน เรื่องราวทั้งสองเวอร์ชันควรรู้ไว้, เวอร์ชันที่ทำให้คำเหล่านี้เป็นที่รู้จัก และเวอร์ชันที่ใช้งานจริงในปัจจุบัน
ประวัติ: perplexity และ burstiness ทำให้ GPTZero เป็นที่รู้จักได้อย่างไร
เมื่อวันที่ 2 มกราคม 2023 Edward Tian ซึ่งขณะนั้นเป็นนักศึกษาของ Princeton ได้เผยแพร่เดโมสาธารณะของ GPTZero เพียงไม่กี่สัปดาห์หลังจาก ChatGPT เปิดตัว หน้าอธิบายต้นฉบับของเขาอธิบายว่าเขาใช้สถิติสองตัวที่ยืมมาจากการสร้างแบบจำลองภาษาเพื่อตรวจจับว่าเมื่อใดที่แบบจำลองภาษาได้เขียนบางสิ่งขึ้นมา Perplexity คือคะแนนที่บอกว่าแบบจำลองอ้างอิงรู้สึกประหลาดใจกับการเลือกคำในข้อความมากเพียงใด Burstiness คือชื่อที่ GPTZero ใช้เรียกว่าความประหลาดใจนั้นแปรผันมากเพียงใดตลอดทั้งเอกสาร หน้าอธิบายเหล่านั้นเป็นเหตุผลที่ทำให้ทั้งสองคำเข้าสู่การสนทนาในชีวิตประจำวันเกี่ยวกับงานเขียนที่สร้างโดย AI เลยทีเดียว คนส่วนใหญ่ที่สามารถนิยาม perplexity หรือ burstiness ได้ในปัจจุบัน เรียนรู้คำเหล่านี้จาก GPTZero ไม่ใช่จากตำราเรียน
กลไกเองอธิบายได้อย่างตรงไปตรงมา นำข้อความตอนหนึ่งป้อนผ่านแบบจำลองภาษามาตรฐาน แล้วร้อยแก้วที่แบบจำลองมองว่าเป็นสิ่งที่คาดเดาได้สูง มี perplexity ต่ำ จะอ่านออกมาเหมือนลักษณะเฉพาะของเครื่องจักร เนื่องจากการสร้างข้อความมักเลือกคำถัดไปที่มีแนวโน้มมากกว่าคำที่น่าประหลาดใจ เอกสารประกอบที่เลิกใช้แล้วของ GPTZero เองยังได้เผยแพร่กฎคร่าว ๆ ว่า คะแนน perplexity ที่สูงกว่า 85 อ่านได้ว่าเป็นข้อความที่มีแนวโน้มเป็นมนุษย์มากกว่าเครื่องจักร เกณฑ์นั้นมาจากผู้ขายรายหนึ่ง บนแบบจำลองหนึ่งตัว ในช่วงเวลาหนึ่ง และตัว GPTZero เองก็ไม่ได้ยืนยันว่ายังใช้เกณฑ์นั้นอีกต่อไป
GPTZero ทำงานอย่างไรในปัจจุบัน, ตัวจำแนกระดับประโยค
ศูนย์สนับสนุนของ GPTZero ระบุไว้อย่างชัดเจนว่า, "ณ ฤดูใบไม้ร่วงปี 2023 GPTZero ไม่ได้ใช้ perplexity และ burstiness สำหรับการตรวจจับ AI อีกต่อไป เพราะเราได้ย้ายไปใช้สถาปัตยกรรมที่อิงการเรียนรู้เชิงลึก" หน้าเทคโนโลยีปัจจุบัน ของบริษัท ยืนยันว่าการเปลี่ยนแปลงนี้เป็นแบบสมบูรณ์ หน้าเว็บดังกล่าวอธิบายว่าเป็น "แนวทางการเรียนรู้เชิงลึกแบบครบวงจร, ที่ฝึกด้วยชุดข้อมูลข้อความจากเว็บ, การศึกษา, และข้อความที่สร้างโดย AI จาก LLM หลายรูปแบบ", ซึ่ง "แบบจำลองการจำแนกทีละประโยคจะกำหนดความน่าจะเป็นและความเชื่อมั่นว่าข้อความนั้นถูกสร้างโดย AI" Perplexity และ burstiness ไม่ปรากฏอยู่ที่หน้าเว็บนั้นเลย
ตั้งแต่นั้นมา ยังได้เพิ่มชั้นการป้องกันอีกชั้นหนึ่ง คือ Paraphraser Shield ซึ่งสร้างขึ้นเพื่อจับข้อความ AI ที่ถูกนำไปผ่านเครื่องมือเขียนใหม่เพื่อหลบเลี่ยงการตรวจจับ คุณสามารถวางข้อความ อัปโหลดเอกสาร Word, PDF และไฟล์ภาพ และได้สูงสุดห้าสิบไฟล์ในครั้งเดียว โครงสร้างพื้นฐานทั้งหมดนั้นไม่มีส่วนเกี่ยวข้องกับการนับว่ารูปแบบอ้างอิงจะเดาคำเดียวกันได้บ่อยเพียงใด
รายงาน GPTZero แสดงอะไรให้คุณเห็นจริง ๆ
ผลลัพธ์ของ GPTZero มีสามส่วน ได้แก่ การจัดประเภทว่าเป็น AI, มนุษย์ หรือผสม, เปอร์เซ็นต์ที่แสดงความน่าจะเป็นที่แบบจำลองประเมินว่าเอกสารถูกเขียนโดย AI, และป้ายกำกับความเชื่อมั่นที่อธิบายว่าการคาดการณ์นั้นมีความน่าเชื่อถือเพียงใด ป้ายกำกับนี้สำคัญกว่าที่อาจดูเหมือน GPTZero เชื่อมโยง "highly confident" กับอัตราความผิดพลาดต่ำกว่า 2 percent และ "low confidence" กับอัตราความผิดพลาด 14 percent หรือสูงกว่า ซึ่งเป็นช่วงที่กว้างพอที่เปอร์เซ็นต์พาดหัวเดียวกันอาจมีน้ำหนักแตกต่างกันมากจากรายงานหนึ่งไปอีกรายงานหนึ่ง
การสแกนแบบเสียเงินเพิ่มการเน้นระดับประโยค และควรอ่านให้ถูกต้อง GPTZero อธิบายประโยคที่ถูกเน้นว่าเป็นประโยคที่ส่งผลต่อคะแนนรวมอย่างไม่สมส่วน ไม่ใช่รายการข้อกล่าวหาต่อแต่ละบรรทัด ประโยคหนึ่งอาจไม่ถูกเน้นและยังคงมีผลต่อผลลัพธ์ได้ เพราะตัวจำแนกอ่านเอกสารทั้งฉบับแทนที่จะลงคะแนนทีละประโยค
| องค์ประกอบของรายงาน | สิ่งที่บอกคุณ |
|---|---|
| การจัดประเภท | ป้ายกำกับเดียว, AI, มนุษย์ หรือผสม |
| คะแนนความน่าจะเป็นของ AI | เปอร์เซ็นต์ที่สะท้อนว่าแบบจำลองประเมินว่าเอกสารถูกเขียนโดย AI มีแนวโน้มเพียงใด |
| ป้ายกำกับความเชื่อมั่น | มีช่วงตั้งแต่ highly confident, ที่มีอัตราความผิดพลาดต่ำกว่า 2 percent, ไปจนถึง low confidence, ที่มีอัตราความผิดพลาด 14 percent หรือสูงกว่า |
| การเน้นประโยค | ทำเครื่องหมายประโยคที่มีส่วนต่อคะแนนมากที่สุดใน Advanced Scan ไม่ใช่ทุกประโยคที่เกี่ยวข้องกับคะแนนนั้น |
องค์ประกอบของรายงานเหล่านี้ไม่มีอยู่ในรูปแบบปัจจุบันในช่วงที่คำอธิบายเรื่อง perplexity และ burstiness ยังเป็นคำบรรยายสาธารณะของ GPTZero เกี่ยวกับตัวเอง อินเทอร์เฟซเปลี่ยนไปพร้อมกับวิธีการ
ทำให้บทความของคุณเป็นธรรมชาติมากขึ้น
ปรับข้อความที่ช่วยโดย AI ของคุณให้ฟังดูเป็นธรรมชาติ, โดยไม่แตะต้องคำสำคัญหรือการอ้างอิง
เหตุใดคำอธิบายเกี่ยวกับ Perplexity และ Burstiness จึงยังคงแพร่หลาย
คำอธิบายต้นฉบับของ GPTZero ยังอยู่บนออนไลน์ ยังถูกจัดทำดัชนี และยังคงเป็นหนึ่งในคำอธิบายทั่วไปที่ชัดเจนกว่าว่า perplexity และ burstiness ทำงานอย่างไรในฐานะมโนทัศน์ เครื่องมือค้นหาและเว็บไซต์อื่น ๆ ยังคงอ้างถึงคำอธิบายนี้ และบางแห่งชี้ไปที่บทวิจารณ์ปี 2026 ที่เผยแพร่อย่างกว้างขวางซึ่งอ้างว่าเครื่องมือนี้ยังคงใช้ชั้นของ perplexity และ burstiness อย่างเงียบ ๆ ควบคู่ไปกับตัวจำแนกของมัน หน้าเว็บปัจจุบันของ GPTZero เอง ทั้งหน้าเทคโนโลยีและบทความสนับสนุนทั้งสองบทความ กล่าวตรงกันข้าม, คำเหล่านี้ถูกยกเลิกไปแล้ว ไม่ได้เพียงถูกซ่อนไว้เบื้องหลัง หน้าเว็บที่อธิบายมโนทัศน์ในเชิงนามธรรมไม่ใช่สิ่งเดียวกับหน้าเว็บที่อธิบายวิธีการปัจจุบันของเครื่องมือนี้ และการมองว่าสองสิ่งนี้ใช้แทนกันได้คือสาเหตุสำคัญที่สุดประการหนึ่งที่ทำให้ความสับสนนี้ยืดเยื้อมานานกว่าสามปีหลังจากหมดอายุการใช้งานไปแล้ว
เรื่องนี้สำคัญเกินกว่าจะเป็นเพียงเรื่องจิปาถะ นักศึกษาหรือเพื่อนร่วมงานที่ถูกบอกให้ลด perplexity หรือกระจายความยาวประโยคออกไปโดยเฉพาะเพื่อเอาชนะ GPTZero กำลังได้รับคำแนะนำที่มุ่งไปยังผลิตภัณฑ์รุ่นที่หยุดทำงานไปแล้วในปี 2023 สิ่งที่ทำให้ตัวจำแนกประโยคเปลี่ยนแปลงได้คือคำถามที่เกี่ยวข้องแต่แตกต่างออกไป ซึ่งใกล้เคียงกับคำอธิบายที่กว้างกว่าของ how AI detectors actually work มากกว่ากับสถิติใดสถิติหนึ่งเพียงลำพัง GPTZero ไม่ได้หยุดวัดสิ่งเหล่านี้ ตามที่บริษัทระบุเอง สิ่งเหล่านี้อยู่ในบรรดาตัวบ่งชี้เจ็ดประการที่ป้อนเข้าสู่โมเดลปัจจุบัน แต่สิ่งเหล่านี้ไม่ได้เป็นตัวตัดสินคำตอบอีกต่อไป
GPTZero กล่าวว่าสิ่งที่มันไม่สามารถทำได้
เกณฑ์มาตรฐานที่ GPTZero เผยแพร่ นั้นแข็งแกร่งพอ ๆ กับที่ผู้ให้บริการรายหนึ่งมีแนวโน้มจะเผยแพร่เกี่ยวกับผลิตภัณฑ์ของตนเอง บริษัทระบุว่า "มีอัตราความแม่นยำ 99% เมื่อตรวจจับข้อความที่สร้างโดย AI เทียบกับงานเขียนของมนุษย์", กล่าวอีกว่า "เรารักษาอัตราบวกเท็จของ GPTZero ไว้ไม่เกิน 1% เมื่อประเมินข้อความ AI เทียบกับข้อความของมนุษย์", และบันทึก "อัตราความแม่นยำ 96.5%" สำหรับการส่งงานที่ผสมงานเขียนของ AI และของมนุษย์ ควบคู่กับ 1.1 percent ในเรียงความ TOEFL ซึ่งเป็นตัวแทนที่ใช้กันทั่วไปสำหรับงานเขียนภาษาอังกฤษของผู้ที่ไม่ใช่เจ้าของภาษา ตัวเลขเหล่านี้มาจากการประเมินของ GPTZero เอง ซึ่งเผยแพร่ในเดือน January 2025 โดยไม่มีการอ้างถึงการทำซ้ำอย่างอิสระในหน้าที่รายงานตัวเลขดังกล่าว หน้าเดียวกันนี้ก็ยังปฏิเสธข้ออ้างที่ผู้ให้บริการส่วนใหญ่มักหยิบยก โดยระบุว่า "จะไม่มีวันมีการรับประกัน 100%" และผู้ที่อ้างเป็นอย่างอื่นน่าจะมีข้อบกพร่องในข้อมูลหรือวิธีการประเมินของตน
หน้าข้อจำกัดของ GPTZero เองมีรายละเอียดมากกว่าตัวเลขทางการตลาด บริษัทระบุว่าความแม่นยำจะดีขึ้นเมื่อส่งข้อความมากขึ้น และจะลดลงในระดับประโยคและย่อหน้าเมื่อเทียบกับทั้งเอกสาร บริษัทระบุว่าข้อมูลฝึกสอนของตนส่วนใหญ่เป็นร้อยแก้วภาษาอังกฤษของผู้ใหญ่ ดังนั้นข้อความที่เบี่ยงเบนจากรูปแบบนั้นจึงจำแนกได้ยากกว่าอย่างน่าเชื่อถือ บริษัทระบุว่าตัวจำแนกไม่ได้รับการฝึกให้ตรวจจับข้อความ AI ที่ถูกปรับแก้ไขอย่างมากหลังการสร้าง และระบุอย่างชัดเจนว่าการเขียนที่สร้างโดยเครื่องหรือมีลักษณะเป็นขั้นตอนสูงแบบอื่น ไม่ใช่เพียงผลลัพธ์จากแชตบอต ก็อาจถูกตั้งค่าสถานะในลักษณะเดียวกันได้
ทั้งหมดนั้นไม่ใช่เหตุผลที่จะมองตัวเลขของ GPTZero ว่าอยู่เหนือข้อสงสัย และก็ไม่ใช่ตัวตรวจจับเพียงรายเดียวที่ควรทำความเข้าใจตามเงื่อนไขของมันเอง ผู้อ่านที่อยากรู้ว่าตัวจำแนกเช่นนี้ตอบสนองต่ออะไรจริง ๆ สามารถเห็นรูปแบบดังกล่าวได้ด้วยตนเองผ่าน free perplexity checker หรือ free burstiness checker ซึ่งเป็นสองส่วนของ free tools collection ที่ครอบคลุมชั้นเชิงสถิติอื่น ๆ ที่รายงานเช่นนี้อาศัยอยู่ด้วย
สถิติเด่นสองรายการของ GPTZero มีหน้าของตนเองโดยเฉพาะ: perplexity วัดอะไรในการตรวจจับ AI, และ คณิตศาสตร์ของความน่าจะเป็นของ token ที่ทำให้เกิดตัวเลขทั้งสอง.
เครื่องมือที่ยอมระบุจุดบอดของตนเองได้อย่างแม่นยำเช่นนี้ สมควรได้รับความไว้วางใจมากกว่าเครื่องมือที่อ้างว่าไม่มีจุดบอด และเปอร์เซ็นต์ที่ไม่อธิบายถัดไปในรายงาน เป็นจุดเริ่มต้นที่ดีในการตั้งคำถามว่า เครื่องมือชนิดใดเป็นผู้สร้างมันขึ้นมา
สิ่งที่งานวิจัยของเราเองค้นพบ
ในการศึกษาความสอดคล้องของเครื่องตรวจจับโดย TextPulse Research เครื่องตรวจจับ AI เชิงพาณิชย์เก้าตัวให้คะแนนบทความวิชาการชุดเดียวกัน 90 ชิ้น หนึ่งในนั้นเป็นข้อความไฮบริดยาว 455 คำ: ส่วนเปิดและส่วนปิดเขียนโดยมนุษย์ คั่นกลางด้วยส่วนที่ AI สร้างยาว 168 คำ GPTZero ให้คะแนนข้อความนี้ 41.2% AI ขณะที่คำตัดสินของเครื่องมืออื่นต่อคำชุดเดียวกันกระจายตั้งแต่ 0% ถึง 95.7% AI บทความฉบับเต็ม คลังข้อความ และตารางคะแนนของทุกเครื่องมือเปิดให้เข้าถึงได้ที่ TextPulse Research
คำถามที่พบบ่อย
ไม่ใช่ GPTZero's support center ระบุว่าบริษัทหยุดใช้ perplexity และ burstiness เพื่อการตรวจจับตั้งแต่ฤดูใบไม้ร่วงปี 2023 หลังจากเปลี่ยนไปใช้ตัวจำแนกแบบ deep-learning หน้าเทคโนโลยีปัจจุบันของบริษัทอธิบายแบบจำลองการจำแนกทีละประโยค และไม่ได้กล่าวถึงคำทั้งสองคำนี้ คำอธิบายดังกล่าวยังคงแพร่หลายอยู่ เพราะคำอธิบายปี 2023 ของ GPTZero เองได้ทำให้ทั้งสองคำเป็นที่รู้จักก่อนที่วิธีการจะเปลี่ยนไป
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.
