هل ZeroGPT دقيق؟
تزعم الأسئلة الشائعة الخاصة بـ ZeroGPT أن المعدل يقترب من 98% في الاختبارات الداخلية، وتعترف منفصلةً بأن الكتابة النمطية قد تُقرأ على أنها من إنتاج الذكاء الاصطناعي بغض النظر عمّن كتبها. هنا ما تقوله الشركة عن منهجها، وما وجدته الاختبارات المستقلة على هذا المنتج تحديدًا، وما الذي يفيد فيه التقييم المجاني فعليًا.
دقة ZeroGPT، وفقًا لما تدّعيه الشركة في الوقت الراهن، هي معدل "يتجه نحو >98% في التقييمات الداخلية"، وهو رقم تقرّ الشركة بأنه ناتج عن اختبار أجرته على نفسها لا عن مختبر خارجي. هذه الصفة الواحدة، الداخلية، هي في الغالب كل ما يحتاج إليه القارئ قبل أن يتعامل مع أي نسبة مئوية من كاشف مجاني بوصفها حقيقة محسومة.
ZeroGPT هو واحد من أكثر كواشف الذكاء الاصطناعي المجانية استخدامًا، ويرجع ذلك إلى حد كبير إلى أنه لا يكلف شيئًا ويعطي إجابة في ثوانٍ. إن الفجوة نفسها بين ادعاءات المورّد والاختبار المستقل التي تظهر عمومًا عبر كواشف الذكاء الاصطناعي تظهر هنا أيضًا. وما يلي هو ما تقوله الشركة حاليًا عن دقتها وطريقتها، وما يبدو أن تلك الطريقة تقيسه فعليًا، ولماذا يميل أداة كهذه إلى الخطأ بطرق محددة ومتوقعة في نوع الكتابة الذي يقدمه القراء الأكاديميون.
ما دقة ZeroGPT، وفقًا للشركة؟
تنص الأسئلة الشائعة الخاصة بـ ZeroGPT على أن الشركة "تقدم دقة رائدة في الصناعة وتُحسَّن باستمرار للحفاظ على أداء من الطراز الأول، مع التقدم نحو >98% في التقييمات الداخلية". هذا ادعاء من المورّد عن منتجه هو نفسه، اختبرته الشركة بنفسها، وصيغ مع قدر حقيقي من التحفظ داخل العبارة نفسها: فقول "التقدم نحو" رقم ما ليس هو نفسه القول ببلوغه والحفاظ عليه، و"التقييمات الداخلية" يعني أن أي طرف خارجي لم ينشر رقمًا مطابقًا. ولا يذكر أي شيء في الصفحة مدى كبر مجموعة الاختبار الداخلية تلك، أو ما الذي احتوته، أو من الذي راجع المنهجية خارج الشركة.
توصي الشركة بما لا يقل عن 150 إلى 200 كلمة من النص للحصول على نتيجة مستقرة، مع أن 500 إلى 1,000 كلمة أو أكثر تحسن الموثوقية أكثر، وتذكر صراحة أن المقاطع القصيرة جدا أو المعدلة على نحو كبير "تحمل إشارات أقل". هذا الإفصاح الواحد أهم من النسبة المئوية في العنوان. إنه إقرار من البائع نفسه بأن الدرجة لا تكون موثوقة إلا بقدر ما يكون الإدخال طويلا وغير متغير، وهو شرط لا يلبّيه دائما تقديم حقيقي.
ما المنهج الذي يستخدمه ZeroGPT فعلا؟
يسمي ZeroGPT نظامه الأساسي DeepAnalyse، ويصفه على موقعه بأنه "منهجية متعددة المراحل مصممة لتحسين الدقة مع تقليل الإيجابيات الكاذبة والسلبيات الكاذبة" تقرأ النص "من المستوى الكلي إلى المستوى الجزئي". ويصف قسم الأسئلة الشائعة لديه شيئا أكثر تحديدا تحت العلامة التجارية: تحليل "أنماط الرموز، والتفاوت الإيقاعي، والإنتروبيا، وخصائص المصنفات التجميعية المدربة على مجموعات بيانات مختلطة".
التفاوت الإيقاعي والإنتروبيا ليسا خاصين بـ ZeroGPT. إنهما الخصائص الإحصائية نفسها، أي مقدار اختلاف طول الجمل وإيقاعها، ومدى قابلية كل كلمة تالية للتنبؤ، التي يغطيها شرح TextPulse الخاص على كيف تعمل كاشفات الذكاء الاصطناعي بوصفها الآلية العامة وراء هذه الفئة كلها من الأدوات. ويعرض فاحص perplexity مجاني ذلك الرقم الأساسي نفسه مباشرة، من دون أن يطلب من الكاتب أن يثق أولا بنسبة أي بائع بعينه.
أضف الطابع البشري إلى بحثك الخاص
حوّل نصك المدعوم بالذكاء الاصطناعي واجعله يبدو بشريًا، من دون المساس بالكلمات المهمة أو الاستشهادات.
لماذا تتعثر الكتابة الأكاديمية أمام هذه الكاشفات؟
يضع قسم الأسئلة الشائعة في ZeroGPT الأمر على هذا النحو: "الكتابة المصقولة جدا، أو النمطية، أو منخفضة الإنتروبيا قد تشبه الذكاء الاصطناعي". النثر الأكاديمي مصمم ليكون مصقولا جدا، ونمطيا، ومنخفض الإنتروبيا. إن قسم المنهجية، ومراجعة الأدبيات، ورسالة الغلاف الرسمية كلها تكافئ العبارة المألوفة أكثر من العبارة المبتكرة، لأن المألوف هو ما يجعل الوثيقة قابلة للاستخدام لدى قارئها في المقام الأول، وهذه المألوفية هي بالضبط النمط منخفض الإنتروبيا الذي يسميه إفصاح البائع نفسه خطرا.
تُظهر الاختبارات المستقلة، المُحكَّمة، لماذا يقع هذا النمط من الفشل على بعض الكتّاب أشد من غيرهم. أجرىَت دراسة من Stanford عام 2023 سبعة كواشف واسعة الاستخدام، من بينها ZeroGPT، على 91 مقالة TOEFL حقيقية كتبها متحدثون غير أصليين للإنجليزية و88 مقالة كتبها طلاب الصف الثامن في الولايات المتحدة. صنّف ZeroGPT نسبة 48 percent من مقالات TOEFL على أنها مولدة بالذكاء الاصطناعي، مقابل 0 percent من مقالات الصف الثامن، وهو الاتجاه نفسه للخطأ الذي أظهره كل كاشف في تلك الدراسة، لكن بحجم مختلف.
لا شيء في هذه الفجوة يخص ZeroGPT وحده، ولا شيء فيها يمثل معلومة جديدة. إنها النمط نفسه من التحيز ضد الكتّاب غير الأصليين، الموثق عبر صناعة الكواشف، والمغطى بمزيد من التفصيل في صفحة TextPulse الخاصة حول سبب تحيز كواشف الذكاء الاصطناعي ضد المتحدثين غير الأصليين. وما تُظهره الفجوة تحديدًا بشأن أداة مجانية موجهة للمستهلكين هو أن القيد الذي أفصح عنه المورّد بنفسه، وهو أن الكتابة منخفضة الإنتروبيا تُقرأ على أنها مصنوعة آليًا، ليس افتراضيًا. لقد التقطه اختبار مُحكَّم وهو يحدث في هذا المنتج نفسه قبل سنوات من أن تذكره الأسئلة الشائعة الحالية للشركة بعباراتها الخاصة.
هل يمكن لنتيجة كاشف مجاني أن تثبت شيئًا عن وثيقة واحدة؟
ليس بمفردها. إن نسبة ZeroGPT ليست دليلًا على أي شيء يتعلق بوثيقة محددة، في أي من الاتجاهين. إنها مجرد تقدير من نموذج واحد، بُني على اختبارات داخلية لم تنشرها الشركة بصيغة يمكن لأي شخص خارجها التحقق منها، وطُبِّق على كتابة يغيّر طولها وتاريخ تحريرها ونوعها الأدبي طريقة القراءة على نحو تعترف به بالفعل الأسئلة الشائعة الخاصة بالمورّد. إن التعامل مع نتيجة مجانية واحدة بوصفها حكمًا يطلب من تلك النتيجة أكثر مما تدّعي الشركة التي تصدرها أنها قادرة عليه.
ما يفيد فيه الدرجة حقا هو نطاق أضيق وأكثر اعتيادية: قراءة سريعة ومجانية لموضع المسودة حاليا على النوع نفسه من القياس الإحصائي الذي يجريه أيضا أداة مؤسسية مدفوعة، قبل أن يراها أي شخص آخر. الأدوات المجانية في TextPulse تغطي هذا المجال نفسه مباشرة، من دون أن تطلب من الكاتب أن يخمن أي درجة من درجات الكواشف المجانية المتعددة ينبغي الوثوق بها أولا.
تخفي أرقام الدقة من تقع عليه الأخطاء وما الذي يثيرها. إن معرفة متى نستخدم a وan وthe تزيل أحد الأنماط التي تستدعي الإشارة، وما الذي تعنيه النتيجة الإيجابية الكاذبة فعلا موضح على نحو منفصل.
لا يجعل أي من هذا رقم ZeroGPT بلا معنى، ولا يجعل أي منه الرقم كافيا في حد ذاته. فالدرجة تقدير أولي، ينتجه أسلوب تصفه الشركة على نحو عام فقط ولم تفتحه للاختبار الخارجي، على كتابة يمكن لجنسها الأدبي وحده أن يغير النتيجة قبل أن يفعل أي شخص معني أي شيء خاطئ. الكلمتان اللتان تحملان أكبر قدر من المعلومات في صفحة الأسئلة الشائعة تلك ليستا النسبة المئوية. إنهما عبارتا التحوط اللتان تجلسان مباشرة إلى جوارها: داخلي، ويميل نحو. الدرجة المجانية هي نقطة بداية لمحادثة حول مسودة، لا حجة ختامية فيها.
ماذا وجدت أبحاثنا الخاصة
في دراسة اتفاق الكواشف التي أجرتها TextPulse Research، قيّمت تسع أدوات تجارية لكشف الذكاء الاصطناعي النصوص الأكاديمية التسعين نفسها. كان أحدها نصًا هجينًا من 455 كلمة: مقدمة وخاتمة مكتوبتان بشريًا حول جزء أوسط من 168 كلمة أنشأه الذكاء الاصطناعي. أعطى ZeroGPT هذا النص 7.6% ذكاءً اصطناعيًا، بينما تراوحت أحكام الأدوات الأخرى على الكلمات نفسها من 0% إلى 95.7%. الورقة الكاملة والمدونة النصية ومصفوفة درجات كل أداة متاحة بحرية عبر TextPulse Research.
الأسئلة الشائعة
دقة ZeroGPT، بحسب الادعاء الحالي الخاص بالشركة نفسها، تصل إلى معدل "يقترب من >98% في التقييمات الداخلية." ويأتي هذا الرقم من اختبار أجرته الشركة على منتجها هي، لا من مختبر خارجي، كما تشير الأسئلة الشائعة الخاصة بالمورّد نفسه منفصلةً إلى أن الكتابة المصقولة جدًا أو النمطية قد تُقرأ على أنها مولدة بالذكاء الاصطناعي بغض النظر عمّن كتبها.
PhD in natural language processing, with years spent building NLP applications end to end. Moe works on text analysis: lexical and syntactic structure, and what separates machine-generated prose from human prose statistically. He has been experimenting with computational linguistics since the early days of NLTK, spaCy and WordNet, and still writes most of his tooling in Python.
