Turnitin ตรวจจับข้อความ AI ที่ทำให้เป็นธรรมชาติได้หรือไม่?
Turnitin ระบุว่า AI writing indicator ของตนครอบคลุมข้อความที่ผ่าน humanizer อยู่แล้ว สิ่งที่คำกล่าวนั้นหมายถึงและไม่หมายถึง เหตุใดเอกสารที่ทำให้เป็นธรรมชาติแล้วบางครั้งยังได้คะแนนสูง และบางครั้งไม่เป็นเช่นนั้น และตัวเลขนั้นมีความหมายเพียงใดสำหรับนักศึกษาไม่ว่าอย่างไร
Turnitin ตอบคำถามนี้ไว้บนเว็บไซต์สนับสนุนของตนเอง และคำตอบมีความเฉพาะเจาะจงมากกว่าทั้งสองฝ่ายของข้อโต้แย้งทั่วไป ตัวบ่งชี้การเขียนด้วย AI ของบริษัท, Turnitin says, ครอบคลุมการตรวจจับเนื้อหาที่สร้างโดย AI ซึ่งอาจถูกทำให้เป็นภาษามนุษย์แล้ว หรือผ่าน bypasser เพื่อหลีกเลี่ยงการตรวจจับแล้ว นี่คือคำอธิบายผลิตภัณฑ์ของผู้ให้บริการเอง และยังเป็นจุดเริ่มต้นที่เหมาะสม เพราะมันบอกว่ารูปแบบจำลองอ้างว่าครอบคลุมอะไรบ้าง
ดังนั้น Turnitin ตรวจจับข้อความที่ถูกทำให้เป็นภาษามนุษย์ได้หรือไม่ คำถามนี้มีรูปแบบที่แคบกว่าและมีประโยชน์มากกว่า รูปแบบจำลองของ Turnitin ไม่ได้ค้นหารอยนิ้วมือของ humanizer และไม่ได้เก็บรายชื่อเครื่องมือไว้ มันให้คะแนนร้อยแก้วทีละประโยคตามความใกล้เคียงของรูปแบบการเขียนกับรูปแบบทางสถิติของข้อความที่สร้างโดยเครื่องจักร จากนั้นจึงหาค่าเฉลี่ยของคะแนนเหล่านั้นทั้งเอกสาร ว่าข้อความที่ถูกทำให้เป็นภาษามนุษย์แล้วยังได้คะแนนสูงหรือไม่นั้น ขึ้นอยู่กับว่าการเขียนใหม่ได้เปลี่ยนรูปแบบนั้นไปมากเพียงใด และขึ้นอยู่กับว่ามีการเขียนใหม่ทั้งเอกสารมากน้อยเพียงใด
Turnitin ตรวจจับข้อความที่ถูกทำให้เป็นภาษามนุษย์ได้หรือไม่, Turnitin อ้างว่าอย่างไร
จุดยืนที่เผยแพร่ของพวกเขาตอบว่าได้อย่างตรงไปตรงมา เมื่ออธิบายว่ามันสามารถตรวจจับเนื้อหาที่ผ่าน humanizer ได้หรือไม่ คำแนะนำของพวกเขาระบุว่า: "Yes, Turnitin's AI indicator includes detection of AI-generated content that may have been humanized or passed through a bypasser to avoid detection." หน้าเดียวกันนี้ให้คำตอบแบบเดียวกันสำหรับเครื่องมือ paraphrasing ของ AI
ข้ออ้างนั้นไม่ได้ปรากฏเป็นตัวเลขอีกชุดหนึ่งในรายงาน Turnitin รวมมันไว้ในเปอร์เซ็นต์การเขียนด้วย AI เพียงค่าเดียว และคำจำกัดความที่เผยแพร่ของเปอร์เซ็นต์นั้นระบุไว้โดยตรงว่า ครอบคลุมข้อความที่รูปแบบจำลองตัดสินว่าน่าจะสร้างโดย AI หรืออาจสร้างโดย AI แล้วถูกแก้ไขโดย AI paraphraser หรือ bypasser มีเพียงคะแนนเดียว และมันได้คำนึงถึงการเขียนใหม่แล้วเท่าที่รูปแบบจำลองจะทำได้
อ่านอย่างรอบคอบ นั่นเป็นข้อความเกี่ยวกับขอบเขต ไม่ใช่ข้อความเกี่ยวกับความแม่นยำ Turnitin กำลังบอกว่าข้อความที่ผ่านการทำให้เป็นมนุษย์อยู่ในขอบเขตเมื่อมีการสร้างโมเดลขึ้นมา มันยังห่างไกลจากการบอกว่าเอกสารที่ผ่านการทำให้เป็นมนุษย์ทุกฉบับจะได้คะแนนสูง และตัวเลขที่เผยแพร่ของมันเอง ซึ่งอยู่ถัดลงไปอีก แสดงให้เห็นโมเดลที่ปฏิบัติต่อประโยคแต่ละประโยคว่าไม่แน่นอน
ตัวบ่งชี้การเขียนด้วย AI กำลังให้คะแนนอะไรจริง ๆ
มันไม่ใช่เปอร์เซ็นต์ มันเป็นสัดส่วนของข้อความ ดังนั้นจึงไม่ใช่ระดับความเชื่อมั่น มันเป็นการวัดว่าข้อความภายในเอกสารของคุณมากเพียงใดที่โมเดลของเราคิดว่าน่าจะสร้างโดย AI เราเรียกมันว่าข้อความที่มีคุณสมบัติ ซึ่งหมายถึงประโยคเชิงร้อยแก้วในรูปแบบการเขียนแบบยาว มันไม่รวมรายการแบบหัวข้อย่อยหรือโค้ดหรือตารางหรือส่วนย่อสั้น ๆ และนั่นคือเหตุผลที่คุณอาจเห็นตัวเลขต่างกันสำหรับบทความเดียวกัน ขึ้นอยู่กับว่ามีร้อยแก้วต่อเนื่องมากเพียงใด
กลไกเบื้องหลังนั้นเรียบง่ายพอที่จะนึกภาพได้ Turnitin แบ่งเอกสารออกเป็นส่วนที่ทับซ้อนกัน โดยแต่ละส่วนมีความยาวประมาณไม่กี่ร้อยคำ ราวห้าถึงสิบประโยคต่อส่วน และให้ส่วนต่าง ๆ ทับซ้อนกันเพื่อให้ทุกประโยคได้รับการให้คะแนนในบริบทของมัน แต่ละประโยคได้รับค่าระหว่าง 0 และ 1 จากนั้นคะแนนของแต่ละส่วนจะถูกนำมาเฉลี่ยตลอดทั้งเอกสารเพื่อให้ได้ตัวเลขเดียวที่ผู้สอนเห็น คำอธิบายแบบทีละขั้นตอนของวิธีที่ Turnitin ตรวจจับ AI จะอธิบายแต่ละขั้นตอนอย่างละเอียดมากขึ้น
ขั้นตอนการเฉลี่ยนั้นมีความสำคัญต่อข้อความที่ผ่านการทำให้เป็นมนุษย์มากกว่าสิ่งอื่นใดในกระบวนการ และเป็นส่วนที่แทบไม่มีใครคำนึงถึง ตัวเลขที่ผู้สอนอ่านคือค่าเฉลี่ยเลขคณิตของการตัดสินในระดับส่วน เอกสารฉบับหนึ่งอาจถูกเขียนใหม่ไปครึ่งหนึ่งและลงเอยอยู่ตรงกลางด้วยเหตุผลที่แทบไม่เกี่ยวกับว่าการเขียนใหม่ทำได้ดีเพียงใด
เหตุใดผลลัพธ์ที่ผ่านการทำให้เป็นมนุษย์จึงบางครั้งยังได้คะแนนสูง
เหตุผลที่พบบ่อยที่สุดคือขอบเขตการครอบคลุม เครื่องมือ humanizer ที่ใช้กับบทนำและบทสรุปจะปล่อยให้บททบทวนวรรณกรรมและส่วนอภิปรายไม่ถูกแตะต้อง และส่วนเหล่านั้นจะนำคะแนนเดิมของตนเข้าสู่ค่าเฉลี่ยโดยตรง ในบทที่ยาว การเขียนหน้าเปิดใหม่จะเปลี่ยนเพียงไม่กี่ส่วนและปล่อยให้ส่วนที่เหลือคงเดิมทุกประการ ซึ่งทำให้เกิดการเปลี่ยนแปลงน้อยกว่าที่ผู้เขียนคาดจากงานที่รู้สึกว่ามีสาระสำคัญ
เหตุผลที่สองคือความลึกของการเขียนใหม่ การปรับแก้ที่แทนที่คำศัพท์แต่ยังคงความยาวของประโยค ลำดับอนุประโยค และตัวเลือกของคำเชื่อมไว้ตามเดิม จะปล่อยให้รูปแบบที่ตัวจำแนกได้รับการฝึกมานั้นยังคงอยู่เกือบทั้งหมด โมเดลให้คะแนนจากรูปทรงของร้อยแก้ว ดังนั้นการเปลี่ยนคำที่เติมเต็มรูปทรงนั้นจึงมีผลน้อยกว่าที่คนส่วนใหญ่เข้าใจ free perplexity checker จะช่วยแสดงว่าข้อความยังคงอ่านได้คาดเดาได้เพียงใดหลังการเขียนใหม่ ซึ่งเป็นสัญญาณที่ให้ข้อมูลมากกว่าการเปรียบเทียบระดับคำระหว่างก่อนและหลัง
เหตุผลที่สามคือการเขียนใหม่อาจสร้างความเป็นระเบียบแบบของตนเองขึ้นมา ชิ้นงานซอฟต์แวร์ที่ใช้การแปลงแบบเดียวกันกับทุกย่อหน้าจะสร้างรูปแบบใหม่ที่มีความเป็นระเบียบไม่ต่างจากรูปแบบเดิม หากทุกประโยคมีการตัดข้อต่อชนิดเดียวกันผ่านเข้าไป หรือหากทุกประโยคมีอนุประโยคแสดงความระมัดระวังชนิดเดียวกันถูกเพิ่มเข้าไปในตำแหน่งเดียวกัน ประโยคเหล่านั้นจะถูกมองอย่างสม่ำเสมอโดยตัวจำแนกพอ ๆ กับที่มันจะถูกมอง หากในตอนแรกทุกประโยคมีความยาวเท่ากันทั้งหมด
| สถานการณ์ | สิ่งที่คะแนน AI ทำ | เหตุผล |
|---|---|---|
| มีการเขียนใหม่เพียงบางส่วนของเอกสาร | ลดลงน้อยกว่าที่คาดไว้ | ส่วนที่ไม่ได้แตะต้องยังคงนำคะแนนเดิมของตนเข้าสู่ค่าเฉลี่ย |
| เปลี่ยนคำศัพท์ แต่คงโครงสร้างประโยคไว้ | เปลี่ยนแปลงน้อยมาก | ตัวจำแนกให้คะแนนรูปแบบระดับประโยคที่การสลับดังกล่าวยังคงไว้ |
| มีการปรับโครงสร้างประโยคอย่างแท้จริงตลอดทั้งฉบับ | เปลี่ยนแปลงมากขึ้น | จังหวะที่สม่ำเสมอซึ่งโมเดลได้รับการฝึกให้จดจำถูกทำลายลง |
| ส่งข้อความร้อยแก้วน้อยกว่า 300 คำ | ไม่สร้างคะแนนเลย | Turnitin ต้องการร้อยแก้วที่เข้าเกณฑ์อย่างน้อย 300 คำก่อนจะแสดงเปอร์เซ็นต์ |
| ผลลัพธ์ต่ำกว่า 20 เปอร์เซ็นต์ | แสดงเครื่องหมายดอกจันแทนตัวเลข | Turnitin ระบุว่าผลลัพธ์ในช่วงดังกล่าวมีความน่าเชื่อถือน้อยกว่า |
เหตุใดการเขียนใหม่แบบเดียวกันจึงบางครั้งให้คะแนนต่ำ
เอกสารที่ทำให้เป็นมนุษย์แล้วอาจกลับมาพร้อมคะแนนต่ำด้วยเหตุผลที่ไม่เกี่ยวกับการเขียนใหม่เลย Turnitin ต้องการร้อยแก้วที่เข้าเกณฑ์อย่างน้อย 300 คำก่อนจึงจะสร้างเปอร์เซ็นต์ AI ได้ ซึ่งเป็นเกณฑ์ขั้นต่ำที่เพิ่มขึ้นจากเดิม 150 คำ โดยให้เหตุผลว่า ความแม่นยำดีขึ้นเมื่อมีข้อความมากขึ้นเล็กน้อย ชิ้นงานสะท้อนความคิดสั้น ๆ จะไม่แสดงตัวเลข และการไม่มีคะแนนไม่ใช่สิ่งเดียวกับการได้คะแนนสะอาด
Turnitin ทำเครื่องหมายช่วงที่ต่ำกว่า 20 เปอร์เซ็นต์ด้วยเครื่องหมายดอกจันแทนการให้เปอร์เซ็นต์ที่แน่นอน เพราะภายในช่วงนี้มีอัตราการให้ผลบวกลวงสูงกว่า ในช่วงเวลาที่เปิดตัว รายงานด้านการศึกษายังอ้างถึงพฤติกรรมนี้ โดยระบุว่าผลลัพธ์ที่รายงานว่ามี AI-written น้อยกว่า 20 เปอร์เซ็นต์มีอัตราการให้ผลบวกลวงสูงกว่า และดังนั้น Turnitin จึงเพิ่มข้อความปฏิเสธความรับผิดชอบ เอกสารที่อยู่ในช่วงดังกล่าวถูกทำเครื่องหมายว่าเป็นช่วงที่ Turnitin ปฏิเสธที่จะรายงานอย่างแม่นยำ ซึ่งเป็นคนละเรื่องกับการได้รับการยืนยันว่าไม่มีปัญหา
นอกจากนี้ ยังมีกลไกระดับสถาบันอยู่เหนือทุกอย่างนี้ Turnitin จะประมวลผลการส่งงานเพื่อการตรวจจับการเขียนด้วย AI ก็ต่อเมื่อสถาบันได้เปิดใช้ฟีเจอร์นี้ และผู้ดูแลระบบสามารถปิดใช้งานได้ทั้งบัญชี Vanderbilt University ทำเช่นนั้นจริงในเดือน August 2023 โดยอ้างอิงอัตราบวกลวง 1 percent ที่ Turnitin เผยแพร่ไว้ในขณะนั้น เทียบกับการส่งงานรายปีประมาณ 75,000 รายการ อคติต่อ ผู้เขียนที่ไม่ได้ใช้ภาษาอังกฤษเป็นภาษาแม่ และการขาดความโปร่งใสเกี่ยวกับวิธีการทำงานของโมเดล นักศึกษาที่อยู่ในสถาบันซึ่งปิดฟีเจอร์นี้จะไม่มีคะแนน AI ในการส่งงานใด ๆ ไม่ว่าจะเป็นงานที่ถูกทำให้เป็นภาษามนุษย์แล้วหรือไม่ก็ตาม
และเมื่อการเขียนใหม่มีลักษณะเปลี่ยนโครงสร้างอย่างแท้จริง คะแนนก็อาจลดลงได้ เพราะรูปแบบที่วัดได้เปลี่ยนไป Turnitin รายงานค่าประมาณที่คำนวณจากรูปแบบการเขียน ดังนั้นข้อความที่มีรูปแบบต่างกันจึงได้คะแนนต่างกัน กลไกนี้ทำงานได้ทั้งสองทิศทาง ซึ่งเป็นส่วนที่น่ากังวล, เพราะการเขียนของมนุษย์ที่เป็นต้นฉบับบางครั้งก็ได้คะแนนสูงด้วยเหตุผลเดียวกันพอดี
ทำให้บทความของคุณเป็นธรรมชาติมากขึ้น
ปรับข้อความที่ช่วยโดย AI ของคุณให้ฟังดูเป็นธรรมชาติ, โดยไม่แตะต้องคำสำคัญหรือการอ้างอิง
ผู้ให้บริการ Humanizer แต่ละรายอ้างว่าอย่างไร และมีหลักฐานอะไรบันทึกไว้
มีหลักเกณฑ์ข้อหนึ่งกำกับตารางนี้ คอลัมน์กลางเป็นถ้อยคำทางการตลาดของผู้ให้บริการเอง โดยนำมาจากเว็บไซต์ของผู้ให้บริการนั้นโดยตรงทุกครั้งที่เว็บไซต์นั้นมีถ้อยคำที่ใช้ได้ คอลัมน์ขวาบันทึกสิ่งที่รองรับคำอ้างแต่ละข้อจริง ๆ ซึ่งในกรณีส่วนใหญ่ไม่มีทั้งชุดข้อมูล วันที่ หรือวิธีการใด ๆ เลย ไม่มีการทดสอบแบบตัวต่อตัวต่อสาธารณะสำหรับแบรนด์เหล่านี้
| แบรนด์ | สิ่งที่ผู้ขายอ้าง | สิ่งที่มีการบันทึกไว้ |
|---|---|---|
| Undetectable.ai | ระบุว่าการผ่านตัวตรวจจับ AI เป็นคุณลักษณะของผลิตภัณฑ์โดยไม่มีตัวเลขกำกับ และเสนอคืนเงินค่าการทำให้เป็นมนุษย์หากผลลัพธ์ถูกระบุว่าไม่ใช่มนุษย์ | การคืนเงินเป็นเงื่อนไขทางการค้า, ไม่มีชุดข้อมูล, วันที่ หรือผลลัพธ์แยกตามตัวตรวจจับใดรองรับคำกล่าวอ้างนี้ |
| QuillBot | ไม่ได้อ้างเรื่องการตรวจจับหรือการหลบเลี่ยงสำหรับฟีเจอร์ humanizer บนหน้าเว็บของตนเอง ตัวตรวจจับ AI แยกต่างหากของบริษัทอธิบายเพียงว่าใช้ตรวจจับเนื้อหาที่สร้างโดย AI | QuillBot จำหน่าย humanizer อยู่ภายในชุดเครื่องมือการเขียนทั่วไป และไม่ได้อ้างเฉพาะ Turnitin สำหรับฟีเจอร์นี้ |
| WriteHuman | ถูกจัดอันดับเป็นอันดับหนึ่งบน Humanizer Leaderboard และอธิบายว่าเป็น AI humanizer ระดับพรีเมียมสำหรับงานเขียนที่จริงจัง | Leaderboard ไม่ได้ระบุวิธีการหรือกลุ่มตัวอย่าง และ WriteHuman ไม่ได้แนบตัวเลขความแม่นยำใด ๆ กับการจัดอันดับ |
| Walter Writes AI | ทำการตลาดการทำให้เป็นมนุษย์ในวงกว้างครอบคลุมมากกว่า 80 ภาษา โดยไม่มีคำอ้างเฉพาะ Turnitin | ไม่มีข้อมูลการทดสอบในทางใดทางหนึ่ง |
| HIX Bypass | ทำการตลาดหน้า bypass แยกตามตัวตรวจจับ โดยไม่มีตัวเลขเฉพาะ Turnitin | HIX Bypass และ BypassGPT เป็นผลิตภัณฑ์คนละตัวบนโดเมนคนละแห่ง ดังนั้นต้องยืนยันว่าคำอ้างนั้นอธิบายตัวใด |
| StealthGPT | มีค่าเฉลี่ยความเป็นมนุษย์ 98% บน Turnitin และ 95% บน GPTZero โดยแต่ละค่ามาจากการรันที่ระบุไว้จำนวน 30 ตัวอย่างและไม่มีการตรวจพบ พร้อมการรับประกันคืนเงินหากผู้สมัครสมาชิกถูกตรวจพบ | เป็นการรายงานด้วยตนเอง ไม่มีการเผยแพร่ชุดข้อมูล, การคัดเลือกตัวอย่าง, วันที่ หรือวิธีการไว้ข้างตัวเลข และเอกสาร 30 ฉบับเป็นการรันขนาดเล็กสำหรับคำอ้างเกี่ยวกับโมเดลที่ให้คะแนนการส่งงานนับล้านรายการ |
| Phrasly | วางตำแหน่งตนเองเป็นตัวลบการตรวจจับ AI, ไม่เผยแพร่ข้อมูลการทดสอบ | ไม่มีคำอ้างสาธารณะในทางใดทางหนึ่ง ตัวเลขที่หมุนเวียนอยู่ในบทวิจารณ์เป็นข้อมูลมือสอง และจึงไม่ถูกรวมไว้ที่นี่ตามหลักการ |
| Grammarly | ไม่ได้ทำการตลาดการเขียนใหม่ของตนว่าเป็นการหลบเลี่ยงการตรวจจับเลย หน้า AI detector ของบริษัทอ้างว่ามีความแม่นยำในการตรวจจับ 99% และได้อันดับหนึ่งบนเกณฑ์มาตรฐานอิสระของ RAID | หน้าเดียวกันของ Grammarly ระบุว่าไม่มีตัวตรวจจับ AI ใดแม่นยำ 100% ฟีเจอร์ Authorship ของบริษัทติดป้ายข้อความว่า พิมพ์โดยมนุษย์, สร้างด้วย AI, หรือแก้ไขด้วย Grammarly |
| TextPulse | อัตราการผ่าน 92.33% บน Turnitin AI, 89.12% บน Originality.ai และ 87.91% บน GPTZero, วัดจากคลังข้อมูลเชิงวิชาการจำนวน 2,000 เอกสาร | วัดและเผยแพร่โดย TextPulse ดังนั้นจึงเป็นการรายงานด้วยตนเองเช่นเดียวกับตัวเลขทั้งหมดข้างต้น ขนาดคลังข้อมูลและตัวตรวจจับถูกระบุไว้แล้ว, ไม่มีการรับประกันผลลัพธ์ของตัวตรวจจับสำหรับเอกสารแต่ละฉบับ |
มีอยู่สามประการที่สรุปได้จากตารางนั้น เครื่องมือส่วนใหญ่เหล่านี้ไม่ได้เผยแพร่ข้ออ้างเกี่ยวกับตัวตรวจจับให้ตรวจสอบเลย มีอยู่สองรายที่แนบขนาดตัวอย่างไว้กับตัวเลข ซึ่งนับว่ามากกว่าที่กลุ่มผลิตภัณฑ์ที่เหลือทำได้ และไม่มีรายใดเผยแพร่ชุดข้อมูลที่บุคคลภายนอกบริษัทสามารถนำไปรันตรวจสอบด้วยตนเองได้ อย่างไรก็ดี ควรให้เครดิตในส่วนที่แต่ละแบรนด์สมควรได้รับ Undetectable.ai วางเงื่อนไขการคืนเงินไว้กับข้ออ้างของตน ซึ่งเป็นพันธะที่เป็นรูปธรรมมากกว่าคำคุณศัพท์ WriteHuman เผยแพร่เพดานคำขอและจำนวนคำต่อระดับอย่างชัดเจน ทำให้ผู้ซื้อทราบว่ากำลังได้รับอะไร Grammarly ระบุคุณค่าความถูกต้องของตนเองพร้อมเงื่อนไขบนหน้าเดียวกับที่กล่าวถึง ซึ่งมากกว่าที่ผู้จำหน่ายตัวตรวจจับส่วนใหญ่ทำได้ และการที่ QuillBot เลือกไม่อ้างว่าหลีกเลี่ยงการตรวจจับได้เลยนั้นเป็นจุดยืนที่ปกป้องได้มากที่สุดในรายการนี้
เหตุใดผู้ที่อยู่นอกผู้จำหน่ายจึงไม่สามารถตรวจสอบตัวเลขเหล่านี้ได้
ผู้จำหน่าย humanizer ที่อ้างอัตราการผ่าน Turnitin กำลังอธิบายการรันที่ทำผ่านบัญชีซึ่งตนควบคุม บนเอกสารที่ตนเลือก ในวันที่โดยปกติไม่ได้ระบุ และเทียบกับตัวจำแนกที่ Turnitin ปรับปรุงเมื่อมีการเผยแพร่โมเดลภาษารุ่นใหม่ นั่นเป็นจริงสำหรับตัวเลขสามสิบตัวอย่างของ StealthGPT และเป็นจริงเช่นเดียวกันสำหรับตัวเลข 2,000 เอกสารที่เว็บไซต์นี้เผยแพร่ ขนาดของคลังข้อมูลมีผลต่อปริมาณสัญญาณรบกวนที่อยู่ในตัวเลข แต่มันไม่ได้เปลี่ยนการรายงานตนเองให้กลายเป็นการตรวจสอบบัญชี
อีกครึ่งหนึ่งของปัญหาคือ รายชื่อโมเดลที่ Turnitin อ้างว่าสามารถตรวจจับได้ของตนเองถูกแก้ไขเมื่อมีรุ่นใหม่ออกมา อัตราการผ่านที่วัดเทียบกับตัวจำแนกของไตรมาสก่อนหน้า ย่อมอธิบายตัวจำแนกของไตรมาสก่อนหน้าและไม่มีสิ่งอื่นใด เหตุใดเรื่องนี้จึงหมายความว่าไม่มีใครสามารถระบุ humanizer AI ที่ดีที่สุดเพื่อหลีกเลี่ยง Turnitin ได้ มีอธิบายแยกไว้แล้ว ตัวเลขทุกตัวบนหน้าแรกของ humanizer ทุกแห่ง รวมถึงของเว็บไซต์นี้ เป็นเพียงภาพถ่ายชั่วขณะซึ่งมีวันที่ที่ผู้จำหน่ายอาจไม่เคยเผยแพร่เลย
วิธีอ่านข้ออ้างเรื่องการหลีกเลี่ยงก่อนที่คุณจะจ่ายเงินซื้อ
คำถามสี่ข้อแยกข้ออ้างที่ควรพิจารณาออกจากข้ออ้างที่ควรละเลย และคำถามเหล่านี้ใช้ได้กับทุกรายการในตารางข้างต้น รวมถึงรายการสุดท้ายด้วย
- มีการทดสอบเอกสารกี่ฉบับ และใครเป็นผู้เลือกเอกสารเหล่านั้น? เปอร์เซ็นต์ที่ไม่มีขนาดตัวอย่างรองรับเป็นเพียงสโลแกนที่สวมตัวเลขอยู่
- ในวันที่เท่าใด และเทียบกับเวอร์ชันของตัวตรวจจับใด? โมเดลการตรวจจับได้รับการปรับปรุงเมื่อมีการเผยแพร่โมเดลภาษารุ่นใหม่ และอัตราการผ่านที่ไม่มีวันที่กำกับจะล้าสมัยอย่างรวดเร็ว
- การรับประกันเป็นการคืนเงินหรือเป็นผลลัพธ์? คำมั่นสัญญาว่าจะคืนเงินย้ายความเสี่ยงทางการเงินเพียงเล็กน้อย และไม่ทำอะไรเลยต่อคณะกรรมการด้านความซื่อสัตย์ทางวิชาการ
- ผู้ขายกล่าวว่าเกิดอะไรขึ้นกับการอ้างอิง คำศัพท์ทางเทคนิค หรือข้อความอ้างตรงยาว? หน้า humanizer ส่วนใหญ่ไม่กล่าวอะไรเลย ซึ่งนั่นเองก็เป็นคำตอบ
คำถามสุดท้ายนั้นตัดสินมากกว่าคณิตศาสตร์ของตัวตรวจจับสำหรับผู้ที่ส่งงานวิชาการ การเขียนใหม่ที่ได้คะแนนดีและทำให้ประโยคในส่วนวิธีการกลายเป็นข้อความทั่วไปอย่างเงียบ ๆ ได้แลกมาด้วยสิ่งที่คุณถูกประเมินอยู่ academic humanizer ของ TextPulse ระบุการคงไว้ซึ่งการอ้างอิงครอบคลุม APA, MLA, IEEE, Chicago, Harvard และ Vancouver, freeze terms สำหรับการล็อกคำศัพท์ที่ตรงตัวก่อนเริ่มการผ่านหนึ่งรอบ, และการฝึกบนข้อความวิชาการที่ผ่านการทบทวนโดยผู้ทรงคุณวุฒิ โดยกำหนดผลลัพธ์ให้อยู่ที่ Flesch-Kincaid grade 13 ถึง 18 ข้อความเหล่านี้เป็นข้ออ้างเกี่ยวกับสิ่งที่เกิดขึ้นกับข้อความ ซึ่งเป็นข้ออ้างคนละชนิดกับเปอร์เซ็นต์เกี่ยวกับตัวตรวจจับ และผู้อ่านสามารถตรวจสอบได้จากผลลัพธ์ภายในหนึ่งนาที
คะแนนนี้หมายถึงอะไรสำหรับนักศึกษาไม่ว่ากรณีใด
Turnitin ระบุอย่างชัดเจนว่า ตัวบ่งชี้การเขียนด้วย AI ไม่ใช่ข้อวินิจฉัยว่ามีการประพฤติมิชอบ หน้า product page ของ Turnitin ระบุอย่างชัดเจนว่า Turnitin Originality "does not make a determination of misconduct through our AI writing detection (or similarity checking) technology." นอกจากนี้ยังระบุชัดว่า Turnitin จัดเตรียมข้อมูลเพื่อให้ครูสามารถตัดสินใจอย่างมีข้อมูลโดยอิงตามนโยบายของสถาบันของตน ข้อความนี้ย้ำอีกครั้งด้วยคำเตือนว่าโมเดล "may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student."
นักศึกษาไม่เห็นคะแนนตามค่าเริ่มต้น Turnitin ระบุอย่างชัดเจนว่า ตัวบ่งชี้และรายงานการตรวจจับงานเขียนด้วย AI ไม่ปรากฏแก่นักศึกษา และหนทางเดียวที่จะเห็นได้คือให้อาจารย์ดาวน์โหลดรายงานเป็น PDF แล้วส่งให้ นักศึกษาที่ตรวจร่างของตนเองกำลังตรวจเครื่องมืออีกชนิดหนึ่งซึ่งฝึกด้วยข้อมูลคนละชุด และตัวเลขทั้งสองไม่มีพันธะที่จะต้องตรงกัน
ซึ่งทำให้เหลือประเด็นที่คะแนนใดก็ไม่อาจตัดสินได้ นั่นคือ AI ได้รับอนุญาตให้ใช้หรือไม่ เป็นคำถามของรายวิชาและสถาบัน และ นโยบายการใช้ AI เป็นผู้ตอบคำถามนี้ในแบบที่เปอร์เซ็นต์ไม่เคยทำได้ คะแนนสูงจากการใช้ที่ได้รับอนุญาตและเปิดเผยแล้ว เป็นการสนทนาที่มีหลักฐานรองรับ คะแนนต่ำจากการใช้ที่ไม่ได้เปิดเผยซึ่งนโยบายห้ามไว้ ก็ยังคงเป็นการใช้ที่ไม่ได้เปิดเผย
สำหรับผู้เขียนที่กำลังแก้ไขร่างของตนเอง การอ่านเชิงปฏิบัติของทั้งหมดนี้คือ คะแนนจะตามงานเขียนไป โมเดลของ Turnitin วัดรูปแบบในระดับประโยคตลอดทั้งเอกสาร ดังนั้นการเขียนใหม่เพียงบางส่วนจึงทำให้คะแนนเปลี่ยนเพียงบางส่วน และการเปลี่ยนคำศัพท์แทบไม่ทำให้เกิดการเปลี่ยนแปลงเลย คู่มือฉบับเต็มเรื่อง วิธีทำให้ข้อความ AI ดูเป็นมนุษย์ จะอธิบายการแก้ไขเชิงโครงสร้างที่เปลี่ยนรูปแบบ โดยเรียงตามลำดับที่ทำให้เกิดการเปลี่ยนแปลงมากที่สุด
AI humanizer ของ TextPulse ใช้การแก้ไขเชิงโครงสร้างเหล่านั้นกับเอกสารทั้งฉบับในคราวเดียว และรายงาน Human Score โดยประมาณที่คำนวณจากตัวข้อความเอง ไม่ใช่การคาดการณ์ว่าเครื่องมือตรวจจับที่มีชื่อใดจะกล่าวว่าอย่างไร ไม่มีเครื่องมือใดรับประกันผลลัพธ์ใน Turnitin ได้ เพราะไม่มีเครื่องมือใดมองเข้าไปในโมเดลของ Turnitin ได้ ผลิตภัณฑ์ใดที่อ้างเป็นอย่างอื่น กำลังอธิบายผลลัพธ์ที่ไม่มีทางสังเกตได้
ความแตกต่างระหว่าง humanizer กับ paraphraser มีความสำคัญในที่นี้ เช่นเดียวกับ เหตุผลที่ข้อความที่ผ่านการ paraphrase แล้วยังคงถูกทำเครื่องหมาย
ตัวเลขเป็นส่วนที่น่าสนใจน้อยที่สุดของเรื่องนี้ สิ่งที่ตัดสินผลลัพธ์คือยี่สิบนาทีหลังจากผู้ตรวจดูมันว่า กระดาษสามารถแสดงวิธีทำ ร่องรอยการร่าง ประวัติฉบับร่าง ชุดบันทึก และแหล่งข้อมูลที่ผู้เขียนสามารถพูดถึงได้โดยไม่ต้องเปิดดูหรือไม่ หลักฐานนั้นมีอยู่สำหรับทุกคนที่เป็นผู้ลงมือทำงาน และมันคงอยู่แม้ต่อคะแนนที่การเขียนใหม่ไม่อาจขยับได้
คำถามที่พบบ่อย
คำแนะนำของ Turnitin เองระบุว่า AI indicator ของตนครอบคลุมการตรวจจับเนื้อหาที่อาจผ่านการทำให้เป็นธรรมชาติหรือผ่าน bypasser มาแล้ว สิ่งที่ผลิตภัณฑ์แสดงออกมาจริงคือเปอร์เซ็นต์ของข้อความที่เข้าเกณฑ์ ไม่ใช่ข้อสรุปเกี่ยวกับผู้ประพันธ์ ดังนั้นคำตอบเชิงปฏิบัติของคำถามว่า Turnitin ตรวจจับข้อความที่ทำให้เป็นธรรมชาติได้หรือไม่ คือคะแนนสะท้อนว่ารูปแบบการเขียนแบบเครื่องจักรยังคงเหลืออยู่มากเพียงใดหลังการเขียนใหม่
Content strategist at TextPulse, here since the company started. Mark writes the product and technical coverage: how the humanizer works under the hood, what changes in each release, and what a specification actually means for your writing. His reviews of writing software come from using them on real documents rather than reading a feature list.
