احتمال الرمز والاحتمال اللوغاريتمي في كشف الذكاء الاصطناعي

إذا سألتَ كاشفًا كيف توصّل إلى تلك الدرجة، فإن معظم واجهات المستخدم الخاصة به ستعطيك الرد نفسه: فقرة تُظلَّل فيها بعض الكلمات بدرجة أغمق من غيرها. هذا التظليل ليس تخمينًا. إنه يأتي من رقم مرتبط بكل رمز في المقطع، ويُحسب قبل أن يلامس الكاشف أيًّا من perplexity أو burstiness أو النسبة المئوية النهائية.

إنه احتمال الرمز، وكل كشف ai لاحتمال الرمز يقوم على ذلك من الأساس. أي عدد من المقاييس التي قد يوردها الكاشف، بما في ذلك المقياسان اللذان نغطيهما في موضع آخر من هذا الموقع، ليس إلا حسابًا رياضيًا يُجرى على سلسلة من هذه الأرقام. الطبقة التي تقع تحت الطبقة التي تتوقف عندها معظم الشروح هي الموضع الذي عليك فيه أن تفكر في ما يكونه الرمز فعلًا، وما الذي تعنيه توزيعات النموذج عليه، ولماذا يجري الحساب في فضاء اللوغاريتمات بدلًا من الاحتمال الخام. معظم الشروح تتوقف عند هذا الحد.

لا شيء من ذلك يحتاج إلى أن يبقى غامضًا. الرمز، وتوزيع الاحتمالات، واللوغاريتم أدوات عادية، لا أسرار احتكارية، وهذه الأفكار الثلاث نفسها تشرح كيف تعمل كواشف AI فعلًا، من النص الخام إلى رقم واحد في تقرير.

كشف AI لاحتمال الرمز: من التوزيع إلى الدرجة

يعمل كشف ai لاحتمال الرمز في ثلاث مراحل. يخصص نموذج لغوي احتمالًا لكل رمز تالٍ ممكن بالنظر إلى ما سبقه. تُحوَّل احتمالات كل رمز إلى لوغاريتمات وتُجمع عبر المقطع، وهو ما يتجاوز مشكلة عددية تقع فيها الضربات الخام تقريبًا فورًا. إن المجموع الناتج، بعد أخذ المتوسط وإعادة القياس، هو ما يظهر في النهاية بوصفه قيمة perplexity أو يغذي قرار المصنف. كل مرحلة هي جزء محدد وقابل للتحقق من الحساب، لا صندوق أسود.

ما هو الرمز فعلًا

الرمز المميز ليس كلمة. تقسم نماذج اللغة الحديثة النص إلى أجزاء دون الكلمة باستخدام خوارزمية مثل ترميز أزواج البايت، لذلك تكون كلمة شائعة مثل 'the' عادة رمزًا مميزًا واحدًا، بينما تنقسم كلمة أقل شيوعًا مثل 'perplexity' إلى جزأين أو ثلاثة، وقد يتفتت اسم غير مألوف إلى أحرف منفردة. إن مقطعًا من الإنجليزية العادية يُرمَّز على نحو موثوق إلى عدد من الرموز المميزة أكبر من عدد كلماته، ومن المفيد معرفة ذلك قبل الوثوق بأي عدّ للكلمات يعيده إليك أداة ما.

لا يرى النموذج الكلمات بالطريقة التي يراها القارئ. بل يرى تسلسلًا من الأعداد الصحيحة، يمثل كل واحد منها فهرسًا داخل مفردات ثابتة دُرِّب النموذج عليها. كل ما يفعله token probability ai detection من هذه النقطة فصاعدًا يعمل على ذلك التسلسل العددي، لا على السلسلة الأصلية من الحروف، وهذا جزء من سبب شعور المرء أحيانًا بأن الآليات الداخلية للكاشف منفصلة عن الطريقة التي يقرأ بها الإنسان الجملة فعليًا.

توزيع النموذج على الرمز المميز التالي

في كل موضع داخل تسلسل ما، لا يخرج النموذج اللغوي التوليدي التلقائي تنبؤًا واحدًا. بل يخرج توزيعًا احتماليًا كاملًا عبر كامل مفرداته، أي عشرات الآلاف من الأعداد التي مجموعها يساوي واحدًا، مع ترتيب كل رمز مميز محتمل تالٍ من الأكثر احتمالًا إلى الأقل احتمالًا بحسب كل ما سبق. إذا أدخلت إلى النموذج العبارة 'the results of the' فإنه يوزع معظم كتلة الاحتمال هذه على عدد قليل من الأسماء المعقولة، مثل 'study,' و'experiment,' و'analysis,'، بينما يخصص حصة ضئيلة جدًا لشيء مثل 'marmalade.'

الرمز المميز الذي يظهر فعليًا بعد ذلك في وثيقة حقيقية يقع في موضع ما داخل ذلك الترتيب، والاحتمال المخصص له هو المادة الخام التي يُبنى منها كل شيء آخر. يمكن للنموذج الذي ينتج نصه الخاص أن يعتمد مباشرة على هذا التوزيع، فيختار مرارًا من القرب من القمة. أما الكاشف الذي يقرأ نصًا مكتملًا كتبه شخص آخر فلا يستطيع إلا أن يسأل، بعد وقوع الفعل، عن مقدار الاحتمال الذي كان النموذج سيخصصه للاختيار الذي جرى فعليًا.

إن احتمال تسلسل كامل هو حاصل ضرب احتمال كل رمز معطى كل ما يسبقه؛ وإذا ربطنا هذا السؤال الخاص بكل رمز عبر وثيقة كاملة باستخدام القاعدة القياسية للاحتمال المشترك، فإن النتيجة النهائية تكون عدداً واحداً يصف مدى توقع المقطع كله. هذا الحاصل هو الموضع الذي تبدأ فيه الحسابات بالتعثر، ولهذا السبب يوجد القسم التالي.

لماذا يحل الاحتمال اللوغاريتمي محل الاحتمال الخام

إن ضرب الاحتمالات معاً صحيح رياضياً، لكنه غير مفيد عملياً بعد بضعة عشرات من الرموز. كل احتمال فردي هو كسر أقل من 1، لذلك فإن حاصل الضرب الجاري يتناقص كلما ضُرب فيه رمز آخر، ويتناقص بسرعة. وبعد بضع مئات من الرموز، قد يهبط حاصل الضرب الخام إلى ما دون أصغر عدد يمكن للحاسوب تمثيله، فيُقرب إلى الصفر تماماً، وهي حالة فشل تُسمى underflow.

وعندما يحدث ذلك، لا يعود العدد يحمل أي معلومات على الإطلاق. فوثيقة كانت غير مرجحة فحسب، ووثيقة كانت غير مرجحة على نحو شديد وفوضوي، تنخفضان معاً إلى الصفر نفسه، من دون أي وسيلة للتمييز بينهما بعد ذلك. وتصلح اللوغاريتمات هذا لأن لوغاريتم حاصل الضرب يساوي مجموع اللوغاريتمات، وهي هوية من الجبر الأساسي. إن جمع سلسلة من الأعداد السالبة العادية لا يتعرض إلى underflow بالطريقة التي يتعرض بها ضرب سلسلة من الكسور الصغيرة، وهو أيضاً أقل كلفة في الحساب.

طول المقطع (للتوضيح)	الاحتمال الخام، حاصل ضرب جارٍ	مجموع الاحتمالات اللوغاريتمية
12 رمزاً عند قيمة توضيحية 0.1 لكل منها	1 x 10 to the power of -12، لا يزال قابلاً للتمثيل	نحو -27.6
350 رمزاً عند قيمة توضيحية 0.1 لكل منها	1 x 10 to the power of -350، يهبط إلى 0 تماماً بسبب underflow	نحو -805.9

هذا توضيح مبسط. الاحتمالات الفعلية لكل رمز تختلف اختلافا هائلا بدلا من أن تستقر عند 0.1 ثابتة، لكن اتجاه المشكلة صحيح تماما. وما إن يهبط حاصل ضرب خام إلى الصفر بسبب underflow، حتى تصبح المقارنة التي يحتاجها الكاشف فعلا، أي ما إذا كان هذا المستند أكثر توقعا أو أقل توقعا من ذلك المستند، مستحيلة. أما مجموع احتمالات اللوغاريتم فلا يفشل بهذه الطريقة أبدا. إنه يظل عددا دقيقا وعاديا وقابلا للمقارنة مهما طال المقطع، وهذا هو السبب الفعلي في أن قابلية الاكتشاف تقاس في فضاء اللوغاريتم بدلا من فضاء الاحتمال الخام.

من الدرجات لكل رمز إلى درجة كشف

إن جمع احتمالات اللوغاريتم عبر مقطع ينتج الاحتمال اللوغاريتمي الكلي للمستند تحت النموذج المرجعي. وقسمة ذلك على عدد الرموز تزيل أثر الطول وتترك متوسط الاحتمال اللوغاريتمي لكل رمز، وهو عدد يمكن أخيرا مقارنته بين مقال من 500 كلمة وفصل أطروحة من 5000 كلمة. وإذا نفيت هذا المتوسط ثم رفعت الناتج إلى الأس، فإن ما ينتج هو درجة perplexity، وهي مقياس يغطيه هذا التجمع بالكامل في عرض منفصل عن ما الذي تقيسه perplexity فعلا.

إن الأرقام نفسها لكل جملة، عندما تتبع من أجل التباين عبر مستند بدلا من تسويتها في متوسط واحد، هي ما تتكون منه burstiness، وهي إشارة مرتبطة بها لكنها منفصلة عن perplexity. وكلاهما يبدأ من الأرقام نفسها لكل رمز الموصوفة أعلاه. إنهما فقط يجريان حسابات مختلفة فوقها.

المتوسط البسيط ليس الطريقة الوحيدة لاستخدام هذه المادة الخام، وقد تجاوزها البحث العلمي منذ زمن. يعمل DetectGPT، المنشور في ICML 2023 على يد Mitchell وLee وKhazatsky وManning وFinn، انطلاقا من خاصية مختلفة في دالة الاحتمال نفسها: فالنص المأخوذ من نموذج لغوي يميل إلى أن يقع في منطقة تؤدي فيها إعادة الصياغة الطفيفة إلى انخفاض الاحتمال اللوغاريتمي بدلا من ارتفاعه، وهو نمط تسميه الورقة الانحناء السالب.

بدلاً من تدريب مصنِّف أو استخدام علامة مائية، تقوم هذه الطريقة بإحداث اضطرابات في المقطع، فتنتج تنويعات طفيفة في كيفية إعادة صياغته، ثم تعيد تقييم كل تنويع باستخدام النموذج نفسه. تقارن الورقة هذا بأفضل خط أساس zero-shot وتجد أنه، على النص المولَّد بواسطة نموذج يضم 20-billion-parameter، تحقق هذه الطريقة 0.95 AUROC بينما يحقق أفضل خط أساس zero-shot 0.81 AUROC.

التوزيع نفسه، يُستخدم لوضع علامة مائية بدلاً من الكشف

حتى الآن، جرى التعامل مع توزيع الاحتمال بوصفه شيئاً يُقرأ بعد وقوع الفعل. ويمكن أيضاً المساس به في لحظة التوليد، وهو ما يقلب المشكلة بالكامل. تختار طريقة من 2023 من Kirchenbauer وGeiping وWen وKatz وMiers وGoldstein قائمة مختصرة عشوائية من الرموز المسموح بها قبل إنتاج كل كلمة، استناداً إلى تجزئة لما سبق، وتوجّه العيّنة برفق نحو تلك القائمة المختصرة. يكون هذا الانحياز غير مرئي للقارئ، ويمكن استعادته لاحقاً باختبار إحصائي على مقطع قصير من النص، من دون الحاجة إلى الوصول إلى النموذج الأصلي.

يضع SynthID من Google DeepMind نسخة من هذه الفكرة في الإنتاج: فهو يعدّل درجات احتمال الرمز التالي في وقت التوليد، وهو متاح اليوم في تطبيق Gemini وتجربة الويب. وقد بنت OpenAI نظاماً مماثلاً ولم تطلقه. وتنسب التقارير هذا القرار جزئياً إلى استطلاع قال فيه ما يقرب من 30 percent من مستخدمي ChatGPT إن العلامة المائية ستجعلهم يستخدمون المنتج أقل، إلى جانب مخاوف بشأن مدى بقاء العلامة المائية بعد إعادة الصياغة.

يعرض تقرير الكاشف كلمة مظللة أو نسبة مئوية واحدة ويتوقف عند هذا الحد، من دون أن يُظهر قط التوزيع الذي جاء منه أيٌّ من ذلك. يشغّل free perplexity checker من TextPulse نسخة مبسطة من التقييم نفسه على مستوى الرمز مقابل مسودتك الخاصة، وهي طريقة أكثر مباشرة لرؤية موضع المقطع من قراءة حكم منقول بالواسطة.

تلتقط صفحتان متجاورتان هذا الأمر. ما إذا كانت الكواشف لا تزال تعتمد على التفاوت الإيقاعي قد تغيّر منذ 2023، وكيف يحول GPTZero هذه الاحتمالات نفسها إلى درجة موضح في صفحته الخاصة.

يقع هذا إلى جانب بقية الأدوات المجانية لدى TextPulse، لذلك يمكن فحص المسودة نفسها من حيث الإيقاع والبنية، وكذلك قابلية التنبؤ على مستوى الكلمات، من دون فتح عشرات الألسنة المنفصلة للقيام بذلك.