GPTZero ทำงานอย่างไร
GPTZero ทำให้ perplexity และ burstiness เป็นที่รู้จัก แล้วก็ยุติการใช้ทั้งสองอย่างอย่างเงียบ ๆ นี่คือสิ่งที่ตัวจำแนกของมันวัดในปัจจุบัน, รายงานแสดงอะไรจริง, และเครื่องมือระบุข้อจำกัดของตนเองไว้อย่างไร.
พิมพ์ "how gptzero works" ลงในแถบค้นหา และสิ่งที่ปรากฏกลับมายังอธิบาย perplexity และ burstiness เป็นส่วนใหญ่ ซึ่งเป็นสถิติสองตัวที่ผู้ก่อตั้งของมันเองทำให้เป็นที่รู้จักในช่วงสัปดาห์แรก ๆ หลังการเปิดตัว ChatGPT คำอธิบายนั้นถูกต้องในเดือนมกราคม 2023 แต่ไม่ถูกต้องอีกต่อไปนับตั้งแต่ฤดูใบไม้ร่วงของปีนั้น เมื่อเอกสารประกอบของ GPTZero เองระบุว่าบริษัทได้แทนที่วิธีการนั้นด้วยสิ่งอื่นโดยสิ้นเชิง ช่องว่างระหว่างสิ่งที่เครื่องมือนี้ทำในตอนเปิดตัวกับสิ่งที่มันทำในปัจจุบันกว้างพอที่คำอธิบายส่วนใหญ่ที่ยังคงเผยแพร่อยู่ในวันนี้จะอธิบายผลิตภัณฑ์ที่ไม่มีอยู่แล้ว
ปัจจุบัน GPTZero ใช้ตัวจำแนกระดับประโยคกับคลังข้อความขนาดใหญ่ที่ผสมระหว่างข้อความที่มนุษย์สร้างและข้อความที่ AI สร้าง แทนการคำนวณ perplexity GPTZero ในปัจจุบันยังคงให้ตัวเลขสรุปเพียงตัวเดียว แต่การคำนวณทางคณิตศาสตร์แตกต่างออกไป การไฮไลต์ระดับประโยคใต้ตัวเลขสรุปนั้นก็มีความหมายต่างจากที่มีในปี 2023 เช่นกัน เรื่องราวทั้งสองเวอร์ชันควรรู้ไว้, เวอร์ชันที่ทำให้คำเหล่านี้เป็นที่รู้จัก และเวอร์ชันที่ใช้งานจริงในปัจจุบัน
ประวัติ, perplexity และ burstiness ทำให้ GPTZero เป็นที่รู้จักได้อย่างไร
เมื่อวันที่ 2 มกราคม 2023 Edward Tian ซึ่งขณะนั้นเป็นนักศึกษาที่ Princeton ได้เผยแพร่เดโมสาธารณะของ GPTZero เพียงไม่กี่สัปดาห์หลังจาก ChatGPT เปิดตัว หน้าอธิบายต้นฉบับของเขาอธิบายว่าเขาใช้สถิติสองตัวที่ยืมมาจากการสร้างแบบจำลองภาษาเพื่อตรวจจับว่าเมื่อใดที่แบบจำลองภาษาได้เขียนบางสิ่งขึ้นมา perplexity คือคะแนนที่บอกว่าแบบจำลองอ้างอิงประหลาดใจกับการเลือกคำในข้อความมากเพียงใด burstiness คือชื่อที่ GPTZero ใช้เรียกว่าความผันผวนของความประหลาดใจนั้นตลอดทั้งเอกสาร หน้าอธิบายเหล่านั้นคือเหตุผลที่คำทั้งสองคำเข้าสู่การสนทนาในชีวิตประจำวันเกี่ยวกับการเขียนด้วย AI เลยทีเดียว คนส่วนใหญ่ที่สามารถนิยาม perplexity หรือ burstiness ได้ในวันนี้ เรียนรู้คำเหล่านี้จาก GPTZero ไม่ใช่จากตำราเรียน
กลไกดังกล่าวเองอธิบายได้อย่างตรงไปตรงมา เพียงป้อนข้อความตอนหนึ่งผ่านแบบจำลองภาษาที่ใช้เป็นข้อมูลอ้างอิง และร้อยแก้วที่แบบจำลองเห็นว่าสามารถคาดเดาได้สูง มี perplexity ต่ำ จะอ่านออกมาในลักษณะเฉพาะของเครื่องจักร เนื่องจากการสร้างข้อความมักให้ความสำคัญกับคำถัดไปที่มีแนวโน้มจะเกิดขึ้นมากกว่าคำที่น่าประหลาดใจ GPTZero เองในเอกสารประกอบที่เลิกใช้แล้วถึงกับเผยแพร่กฎคร่าว ๆ ว่า คะแนน perplexity ที่สูงกว่า 85 อ่านได้ว่าเป็นข้อความที่น่าจะเป็นมนุษย์มากกว่าเครื่องจักร เกณฑ์ดังกล่าวมาจากผู้ให้บริการรายหนึ่ง จากแบบจำลองหนึ่ง ในช่วงเวลาหนึ่ง และ GPTZero เองก็ไม่ยืนยันท่าทีต่อเกณฑ์นั้นอีกต่อไป
GPTZero ทำงานอย่างไรในปัจจุบัน, ตัวจำแนกระดับประโยค
ศูนย์สนับสนุนของ GPTZero ระบุอย่างชัดเจนว่า บริษัทหยุดใช้ perplexity และ burstiness ในการตรวจจับตั้งแต่ฤดูใบไม้ร่วงปี 2023 หลังจากย้ายไปใช้สถาปัตยกรรม deep learning หน้าเทคโนโลยีปัจจุบันของบริษัท, ซึ่งตรวจสอบสำหรับบทความนี้, ยืนยันว่าการเปลี่ยนแปลงดังกล่าวเป็นแบบสมบูรณ์, โดยอธิบายแนวทาง deep learning แบบ end-to-end ที่ฝึกจากข้อความบนเว็บ การศึกษา และแบบจำลองภาษาหลากหลายชนิด, ทำงานด้วยแบบจำลองการจำแนกทีละประโยคที่ส่งออกความน่าจะเป็นและคะแนนความเชื่อมั่น ไม่พบ perplexity และ burstiness ปรากฏอยู่ในหน้านั้นเลย
นับแต่นั้นมา บริษัทยังเพิ่มชั้นการป้องกัน, Paraphraser Shield, ซึ่งสร้างขึ้นเพื่อจับข้อความ AI ที่ถูกนำไปผ่านเครื่องมือเขียนใหม่เพื่อหลบเลี่ยงการตรวจจับ คุณสามารถวางข้อความ อัปโหลดเอกสาร Word, PDF และไฟล์ภาพ และได้สูงสุดห้าสิบไฟล์ในครั้งเดียว โครงสร้างพื้นฐานทั้งหมดนั้นไม่มีความเกี่ยวข้องใด ๆ กับการนับว่าระบบอ้างอิงจะเดาคำเดียวกันบ่อยเพียงใด
ทำให้บทความของคุณเป็นธรรมชาติมากขึ้น
ปรับข้อความที่ช่วยโดย AI ของคุณให้ฟังดูเป็นธรรมชาติ, โดยไม่แตะต้องคำสำคัญหรือการอ้างอิง
รายงานของ GPTZero แสดงอะไรให้คุณเห็นจริง ๆ
ผลลัพธ์ของ GPTZero มีสามส่วน, ได้แก่ การจำแนกว่าเป็น AI, มนุษย์ หรือผสม, เปอร์เซ็นต์ที่แสดงความน่าจะเป็นของแบบจำลองว่าระเบียนดังกล่าวเขียนโดย AI, และป้ายกำกับความเชื่อมั่นที่อธิบายว่าการคาดการณ์เฉพาะนั้นเชื่อถือได้เพียงใด ป้ายกำกับนี้สำคัญกว่าที่อาจดูเหมือน GPTZero เชื่อมโยง "highly confident" กับอัตราความผิดพลาดต่ำกว่า 2 percent และ "low confidence" กับอัตราความผิดพลาด 14 percent หรือสูงกว่า ซึ่งเป็นช่วงที่กว้างพอที่เปอร์เซ็นต์พาดหัวเดียวกันอาจมีน้ำหนักต่างกันมากจากรายงานหนึ่งไปอีกรายงานหนึ่ง
การสแกนแบบชำระเงินเพิ่มการเน้นระดับประโยค และควรอ่านอย่างถูกต้อง GPTZero อธิบายว่าประโยคที่ถูกเน้นคือประโยคที่มีผลต่อคะแนนรวมอย่างไม่สมส่วน ไม่ใช่รายการข้อกล่าวหาต่อแต่ละบรรทัด ประโยคหนึ่งอาจไม่ถูกเน้นและยังคงมีส่วนกำหนดผลลัพธ์ได้ เพราะตัวจำแนกอ่านเอกสารทั้งฉบับโดยรวม มากกว่าลงคะแนนทีละประโยค
| องค์ประกอบของรายงาน | สิ่งที่บอกคุณ |
|---|---|
| การจำแนกประเภท | ป้ายกำกับเดียว, AI, มนุษย์, หรือผสม |
| คะแนนความน่าจะเป็นของ AI | เปอร์เซ็นต์ที่สะท้อนว่ารูปแบบประเมินว่าเอกสารน่าจะเขียนโดย AI มากเพียงใด |
| ป้ายกำกับความเชื่อมั่น | มีช่วงตั้งแต่เชื่อมั่นสูง, อัตราความคลาดเคลื่อนต่ำกว่า 2 เปอร์เซ็นต์, ไปจนถึงความเชื่อมั่นต่ำ, 14 เปอร์เซ็นต์หรือสูงกว่า |
| การเน้นประโยค | ทำเครื่องหมายประโยคที่มีส่วนต่อคะแนนมากที่สุดใน Advanced Scan, ไม่ใช่ทุกประโยคที่เกี่ยวข้องกับคะแนนนั้น |
องค์ประกอบของรายงานเหล่านี้ไม่มีอยู่ในรูปแบบปัจจุบันเมื่อคำอธิบายเรื่อง perplexity และ burstiness ยังเป็นคำอธิบายสาธารณะของ GPTZero เกี่ยวกับตัวเอง อินเทอร์เฟซเปลี่ยนไปพร้อมกับวิธีการ
เหตุใดคำอธิบายเรื่อง Perplexity และ Burstiness จึงยังคงแพร่หลาย
คำอธิบายต้นฉบับของ GPTZero ยังอยู่บนออนไลน์ ยังถูกจัดทำดัชนี และยังเป็นหนึ่งในคำอธิบายทั่วไปที่ชัดเจนกว่าว่า perplexity และ burstiness ทำงานอย่างไรในฐานะแนวคิด เสิร์ชเอนจินและเว็บไซต์อื่น ๆ ยังคงอ้างถึงคำอธิบายนั้น และบางแห่งชี้ไปที่บทวิจารณ์ปี 2026 ที่เผยแพร่อย่างกว้างขวางซึ่งอ้างว่าเครื่องมือนี้ยังคงทำงานด้วยชั้น perplexity และ burstiness อย่างเงียบ ๆ ควบคู่ไปกับตัวจำแนก หน้าเว็บปัจจุบันของ GPTZero เอง, หน้าเทคโนโลยี และบทความสนับสนุนทั้งสองบทความ, ระบุตรงกันข้าม, คือคำเหล่านี้ถูกยกเลิกไปแล้ว ไม่ใช่เพียงถูกซ่อนไว้เบื้องหลัง หน้าเว็บที่อธิบายแนวคิดในเชิงนามธรรมไม่ใช่สิ่งเดียวกับหน้าเว็บที่อธิบายวิธีการปัจจุบันของเครื่องมือนี้ และการมองว่าสองสิ่งนี้ใช้แทนกันได้คือเหตุผลสำคัญที่ทำให้ความสับสนดำรงอยู่ต่อมาอีกสามปีหลังจากหมดอายุการใช้งานไปแล้ว
เรื่องนี้มีความสำคัญเกินกว่าจะมองว่าเป็นเรื่องเล็กน้อย นักศึกษาหรือเพื่อนร่วมงานที่ถูกบอกให้ลด perplexity หรือกระจายความยาวของประโยคเพื่อเอาชนะ GPTZero กำลังได้รับคำแนะนำที่มุ่งไปยังผลิตภัณฑ์ในเวอร์ชันที่หยุดทำงานไปแล้วในปี 2023 สิ่งที่ทำให้ตัวจำแนกประโยคเปลี่ยนผลนั้นเป็นคำถามที่เกี่ยวข้องแต่แตกต่างออกไป ใกล้เคียงกับคำอธิบายที่กว้างกว่าของ AI detectors ทำงานจริงอย่างไร มากกว่าตัวชี้วัดใดตัวชี้วัดหนึ่งเพียงลำพัง GPTZero ยังไม่ได้หยุดวัดตัวชี้วัดเหล่านี้ ตามที่บริษัทระบุเอง ตัวชี้วัดเหล่านี้อยู่ในบรรดาสัญญาณ 7 ประการที่ป้อนเข้าสู่โมเดลปัจจุบัน แต่ตัวชี้วัดเหล่านี้ไม่ได้เป็นสิ่งที่ตัดสินคำตอบอีกต่อไป
GPTZero ระบุว่าสิ่งใดที่ไม่สามารถทำได้
ตัวเลขความแม่นยำที่ GPTZero ระบุไว้นั้นแข็งแกร่งพอ ๆ กับที่ผู้ให้บริการมักจะเผยแพร่เกี่ยวกับผลิตภัณฑ์ของตนเอง, ความแม่นยำ 96.5 เปอร์เซ็นต์บนเอกสารที่มีเนื้อหาผสม, อัตราผลบวกลวงโดยรวมที่บริษัทกำหนดเพดานไว้ที่ 1 เปอร์เซ็นต์, และ 1.1 เปอร์เซ็นต์โดยเฉพาะสำหรับเรียงความ TOEFL ซึ่งมักใช้แทนงานเขียนภาษาอังกฤษของผู้ที่ไม่ใช่เจ้าของภาษา ตัวเลขเหล่านี้มาจากการประเมินของ GPTZero เอง โดยไม่มีการอ้างถึงการทำซ้ำอย่างอิสระในหน้าที่รายงานตัวเลขดังกล่าว
หน้าข้อจำกัดของ GPTZero เองมีความเฉพาะเจาะจงมากกว่าตัวเลขทางการตลาด บริษัทระบุว่าความแม่นยำจะดีขึ้นเมื่อส่งข้อความมากขึ้น และจะลดลงในระดับประโยคและย่อหน้าเมื่อเทียบกับทั้งเอกสาร บริษัทระบุว่าข้อมูลฝึกสอนของตนส่วนใหญ่เป็นร้อยแก้วภาษาอังกฤษของผู้ใหญ่ ดังนั้นข้อความที่เบี่ยงเบนจากรูปแบบนั้นจึงจำแนกได้ยากกว่าอย่างน่าเชื่อถือ บริษัทระบุว่าตัวจำแนกไม่ได้รับการฝึกให้ตรวจจับข้อความ AI ที่ถูกปรับแก้ไขอย่างหนักหลังการสร้าง และบริษัทระบุอย่างชัดเจนว่าการเขียนที่สร้างโดยเครื่องหรือมีลักษณะเป็นขั้นตอนสูงแบบอื่น ๆ ไม่ใช่เพียงผลลัพธ์จากแชตบอตเท่านั้น ก็อาจถูกตั้งค่าสถานะในลักษณะเดียวกันได้
ไม่มีสิ่งใดในนั้นเป็นเหตุผลให้ถือว่าตัวเลขของ GPTZero เป็นสิ่งที่ไม่อาจตั้งคำถามได้ และมันก็ไม่ใช่ตัวตรวจจับเพียงตัวเดียวที่ควรทำความเข้าใจในเงื่อนไขของมันเอง ผู้อ่านที่อยากรู้ว่าตัวจำแนกประเภทเช่นนี้ตอบสนองต่ออะไรจริง ๆ สามารถเห็นรูปแบบนั้นด้วยตนเองผ่าน free perplexity checker หรือ free burstiness checker ซึ่งเป็นสองส่วนของ free tools collection ที่ครอบคลุมชั้นเชิงสถิติอื่น ๆ ที่รายงานเช่นนี้อาศัยอยู่ด้วย
สถิติเด่นสองรายการของ GPTZero มีหน้าของตนเองโดยเฉพาะ: what perplexity measures in AI detection และ the token probability arithmetic that produces both numbers
เครื่องมือที่ยอมระบุจุดบอดของตนเองอย่างแม่นยำเช่นนี้สมควรได้รับความไว้วางใจมากกว่าเครื่องมือที่อ้างว่าไม่มีจุดบอด และเปอร์เซ็นต์ที่ยังไม่อธิบายถัดไปในรายงานก็เป็นจุดเริ่มต้นที่ดีสำหรับการตั้งคำถามว่าเครื่องมือชนิดใดเป็นผู้สร้างมันขึ้นมา
คำถามที่พบบ่อย
ไม่ใช่ GPTZero ศูนย์สนับสนุนระบุว่าบริษัทหยุดใช้ perplexity และ burstiness สำหรับการตรวจจับตั้งแต่ฤดูใบไม้ร่วงปี 2023 หลังจากเปลี่ยนไปใช้ตัวจำแนกแบบ deep-learning เทคโนโลยีหน้าปัจจุบันของบริษัทอธิบายแบบจำลองการจำแนกทีละประโยค และไม่กล่าวถึงคำทั้งสองคำนี้ คำอธิบายดังกล่าวยังคงแพร่หลายเพราะคำอธิบายปี 2023 ของ GPTZero เองเป็นผู้ทำให้คำทั้งสองคำเป็นที่รู้จักก่อนที่วิธีการจะเปลี่ยนไป
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.
