احتمال الرمز والاحتمال اللوغاريتمي في كشف الذكاء الاصطناعي

إذا سألت كاشفًا كيف توصّل إلى تلك الدرجة، فإن معظم واجهات المستخدم لديه ستعطيك الرد نفسه: فقرة تُظلل فيها بعض الكلمات بدرجة أغمق من غيرها. هذا التظليل ليس تخمينًا. إنه يأتي من رقم مرتبط بكل رمز في المقطع، ويُحسب قبل أن يلامس الكاشف أيًا من perplexity أو burstiness أو النسبة المئوية النهائية.

إنه احتمال الرمز، وكل كشف ai للرموز يقوم على ذلك، من الأساس. أي عدد من المقاييس التي سيعرضها الكاشف, بما في ذلك المقياسان اللذان نتناولهما في موضع آخر من هذا الموقع, ليس إلا حسابًا يجري على سلسلة من هذه الأرقام. الطبقة التي تقع تحت الطبقة التي تتوقف عندها معظم الشروح هي الموضع الذي عليك فيه أن تفكر في ما يكونه الرمز فعليًا، وما الذي تعنيه توزيعات النموذج عليه، ولماذا يجري الحساب في فضاء اللوغاريتمات بدلًا من الاحتمال الخام. معظم الشروح تتوقف هناك.

لا شيء من ذلك يحتاج إلى أن يبقى غامضًا. الرمز، وتوزيع الاحتمالات، واللوغاريتم أدوات عادية، لا أسرار احتكارية، وهذه الأفكار الثلاث نفسها تشرح كيف تعمل كاشفات AI فعليًا، من النص الخام إلى رقم واحد في تقرير.

كشف AI لاحتمال الرمز: من التوزيع إلى الدرجة

يعمل كشف ai لاحتمال الرمز عبر ثلاث مراحل. يخصص نموذج لغوي احتمالًا لكل رمز تالٍ ممكن بالنظر إلى ما سبقه. تُحوَّل احتمالات كل رمز إلى لوغاريتمات وتُجمع عبر المقطع، وهو ما يتجاوز مشكلة عددية تصطدم بها الضربات الخام تقريبًا فورًا. إن المجموع الناتج، بعد أخذ المتوسط وإعادة القياس، هو ما يظهر في النهاية بوصفه قيمة perplexity أو يغذي قرار المصنف. كل مرحلة هي جزء محدد وقابل للتحقق من الحساب، لا صندوق أسود.

ما هو الرمز فعلًا

الرمز المميز ليس كلمة. تقسم نماذج اللغة الحديثة النص إلى أجزاء دون الكلمة باستخدام خوارزمية مثل ترميز أزواج البايت، لذا فإن كلمة شائعة مثل 'the' تكون عادة رمزًا مميزًا واحدًا، بينما تنقسم كلمة أقل شيوعًا مثل 'perplexity' إلى جزأين أو ثلاثة، ويمكن أن يتفتت اسم غير مألوف إلى أحرف منفردة. إن مقطعًا من الإنجليزية العادية يُرمَّز إلى رموز مميزة أكثر من عدد كلماته على نحو موثوق، ومن المفيد معرفة ذلك قبل الوثوق بأي عدّ للكلمات يعيده إليك أداة ما.

لا يرى النموذج الكلمات بالطريقة التي يراها القارئ. بل يرى تسلسلاً من الأعداد الصحيحة، يمثل كل واحد منها فهرسًا ضمن مفردات ثابتة دُرِّب النموذج عليها. كل ما يفعله token probability ai detection من هذه النقطة فصاعدًا يعمل على ذلك التسلسل العددي، لا على السلسلة الأصلية من الحروف، وهذا جزء من سبب شعور المرء أحيانًا بأن الآلية الداخلية للكاشف منفصلة عن الطريقة التي يقرأ بها الشخص الجملة فعليًا.

توزيع النموذج على الرمز المميز التالي

في كل موضع داخل تسلسل ما، لا يُخرج نموذج اللغة الانحداري الذاتي تنبؤًا واحدًا. بل يُخرج توزيعًا احتماليًا كاملاً عبر كامل مفرداته، أي عشرات الآلاف من الأعداد التي مجموعها يساوي واحدًا، مع ترتيب كل رمز مميز محتمل تالٍ من الأكثر احتمالاً إلى الأقل احتمالاً بالنظر إلى كل ما سبق. إذا أُعطي النموذج العبارة 'the results of the' فإنه يوزع معظم كتلة الاحتمال هذه على عدد قليل من الأسماء المعقولة، مثل 'study,' و'experiment,' و'analysis,'، بينما يخصص حصة ضئيلة للغاية لشيء مثل 'marmalade.'

الرمز المميز الذي يظهر فعليًا بعد ذلك في وثيقة حقيقية يقع في مكان ما ضمن ذلك الترتيب، والاحتمال المخصص له هو المادة الخام التي يُبنى منها كل شيء آخر. يمكن للنموذج الذي ينتج نصه الخاص أن يعتمد مباشرة على هذا التوزيع، فيختار مرارًا من قرب القمة. أما الكاشف الذي يقرأ نصًا منجزًا لشخص آخر فلا يستطيع إلا أن يسأل، بعد وقوع الأمر، عن مقدار الاحتمال الذي كان النموذج سيخصصه للاختيار الذي جرى فعلاً.

احتمال تسلسل كامل هو حاصل ضرب احتمال كل رمز معطى كل ما يسبقه، وإذا ربطنا هذا السؤال الخاص بكل رمز عبر وثيقة كاملة باستخدام القاعدة القياسية لاحتمال الاقتران، فإن النتيجة النهائية تكون عدداً واحداً يصف مدى توقع المقطع كله. هذا الحاصل هو الموضع الذي تبدأ فيه الحسابات في التعثر، ولهذا السبب يوجد القسم التالي.

لماذا يحل الاحتمال اللوغاريتمي محل الاحتمال الخام

إن ضرب الاحتمالات معاً صحيح رياضياً، لكنه غير مفيد عملياً بعد بضع عشرات من الرموز. كل احتمال فردي هو كسر أقل من واحد، لذا فإن حاصل الضرب المتراكم يتناقص كلما أُضيف رمز آخر إلى الضرب، ويتناقص بسرعة. وبعد بضع مئات من الرموز، قد يهبط حاصل الضرب الخام إلى ما دون أصغر عدد يمكن للحاسوب تمثيله، فيُقرب إلى الصفر تماماً، وهي حالة فشل تُسمى underflow.

وعندما يحدث ذلك، لا يحمل العدد أي معلومات على الإطلاق. فوثيقة كانت غير محتملة فحسب، ووثيقة كانت غير محتملة على نحو شديد وفوضوي، تنخفضان معاً إلى الصفر نفسه، من دون أي وسيلة للتمييز بينهما بعد ذلك. وتصلح اللوغاريتمات هذا لأن لوغاريتم حاصل الضرب يساوي مجموع اللوغاريتمات، وهي هوية من الجبر الأساسي. إن جمع سلسلة من الأعداد السالبة العادية لا يتعرض إلى underflow بالطريقة التي يتعرض بها ضرب سلسلة من الكسور الصغيرة، وهو أيضاً أقل كلفة في الحساب.

طول المقطع (للتوضيح)	الاحتمال الخام، حاصل ضرب متراكم	مجموع الاحتمالات اللوغاريتمية
12 رمزاً عند 0.1 توضيحية لكل منها	1 x 10 to the power of -12، لا يزال قابلاً للتمثيل	نحو -27.6
350 رمزاً عند 0.1 توضيحية لكل منها	1 x 10 to the power of -350، يهبط إلى 0 تماماً بسبب underflow	نحو -805.9

هذا توضيح مبسط. احتمالات كل رمز على حدة في الواقع تختلف اختلافا كبيرا بدلا من أن تستقر عند 0.1 ثابتة، لكن اتجاه المشكلة صحيح تماما. ما إن يهبط حاصل ضرب خام إلى الصفر بسبب underflow، حتى تصبح المقارنة التي يحتاجها الكاشف فعلا، أي ما إذا كانت هذه الوثيقة أكثر توقعا أو أقل توقعا من تلك، مستحيلة. أما مجموع احتمالات اللوغاريتم فلا يفشل بهذه الطريقة. إنه يظل عددا دقيقا وعاديا وقابلا للمقارنة مهما طال المقطع، وهذا هو السبب الفعلي في أن قابلية الاكتشاف تقاس في فضاء اللوغاريتم بدلا من فضاء الاحتمال الخام.

من الدرجات لكل رمز إلى درجة الكشف

إن جمع احتمالات اللوغاريتم عبر مقطع ينتج الاحتمال اللوغاريتمي الكلي للوثيقة تحت النموذج المرجعي. وقسمة ذلك على عدد الرموز تزيل أثر الطول وتبقي متوسط الاحتمال اللوغاريتمي لكل رمز، وهو عدد يمكن أخيرا مقارنته بين مقال من 500 كلمة وفصل أطروحة من 5000 كلمة. وإذا نفيت هذا المتوسط ثم أُسّيته، فإن الناتج هو درجة perplexity، وهي مقياس تغطيه هذه المجموعة بالكامل في نظرة منفصلة إلى ما الذي تقيسه perplexity فعلا.

إن الأرقام نفسها لكل جملة، حين تُتبع لرصد التباين عبر وثيقة بدلا من تسويتها في متوسط واحد، هي ما تُبنى منه burstiness، وهي إشارة مرتبطة بها لكنها منفصلة عن perplexity. وكلاهما يبدأ من الأرقام نفسها لكل رمز الموصوفة أعلاه. إنهما فقط يجريان حسابات مختلفة فوقها.

ليس المتوسط البسيط هو الطريقة الوحيدة لاستخدام هذه المادة الخام، وقد تجاوزها البحث العلمي منذ زمن. DetectGPT، المنشور في ICML 2023 على يد Mitchell وLee وKhazatsky وManning وFinn، يعمل من خاصية مختلفة في دالة الاحتمال نفسها: النص المأخوذ عينة من نموذج لغوي يميل إلى أن يقع في منطقة تؤدي فيها إعادة الصياغة الطفيفة إلى انخفاض الاحتمال اللوغاريتمي بدلا من ارتفاعه، وهو نمط تسميه الورقة الانحناء السالب.

بدلاً من تدريب مصنِّف أو استخدام علامة مائية، تقوم هذه الطريقة بإحداث اضطرابات في المقطع، فتنتج تنويعات طفيفة في كيفية إعادة صياغته، ثم تعيد تقييم كل تنويع باستخدام النموذج نفسه. تقارن الورقة هذا بأفضل خط أساس zero-shot وتجد أنه، على النص المولَّد بواسطة نموذج يضم 20 مليار معلمة، تحقق هذه الطريقة 0.95 AUROC بينما يحقق أفضل خط أساس zero-shot 0.81 AUROC.

التوزيع نفسه، يُستخدم لوضع علامة مائية بدلاً من الكشف

حتى الآن، جرى التعامل مع توزيع الاحتمال بوصفه شيئاً يُقرأ بعد وقوعه. ويمكن أيضاً المساس به في لحظة التوليد، وهو ما يقلب المشكلة بالكامل. تختار طريقة من 2023 من Kirchenbauer وGeiping وWen وKatz وMiers وGoldstein قائمة مختصرة عشوائية من الرموز المسموح بها قبل إنتاج كل كلمة، استناداً إلى تجزئة لما سبق، وتوجّه العيّنة توجيهاً ناعماً نحو تلك القائمة المختصرة. يكون هذا الانحياز غير مرئي للقارئ، ويمكن استعادته لاحقاً باختبار إحصائي على مقطع قصير من النص، من دون الحاجة إلى الوصول إلى النموذج الأصلي.

يضع Google DeepMind نظام SynthID نسخة من هذه الفكرة في التطبيق العملي: فهو يعدّل درجات احتمال الرمز التالي في وقت التوليد، وهو متاح اليوم في تطبيق Gemini وتجربة الويب. وقد بنت OpenAI نظاماً مماثلاً ولم تطلقه. وتنسب التقارير هذا القرار جزئياً إلى استطلاع قال فيه ما يقرب من 30 percent من مستخدمي ChatGPT إن وضع علامة مائية سيجعلهم يستخدمون المنتج أقل، إلى جانب مخاوف بشأن مدى بقاء العلامة المائية بعد إعادة الصياغة.

يعرض تقرير الكاشف كلمة مظللة أو نسبة مئوية واحدة ويتوقف عند هذا الحد، من دون أن يعرض أبداً التوزيع الذي جاءت منه أي من تلك النتائج. يشغّل فاحص perplexity المجاني من TextPulse نسخة مبسطة من التقييم نفسه لكل رمز على مسودتك، وهو طريقة أكثر مباشرة لرؤية موضع المقطع من قراءة الحكم بشكل غير مباشر.

تتناول هذه الفكرة صفحتين مجاورتين. ما إذا كانت الكواشف لا تزال تعتمد على التفاوت الإيقاعي قد تغيّر منذ 2023، وكيف يحوّل GPTZero هذه الاحتمالات نفسها إلى درجة موضح في صفحته الخاصة.

وهي تقع إلى جانب بقية الأدوات المجانية الخاصة بـ TextPulse، بحيث يمكن فحص المسودة نفسها من حيث الإيقاع والبنية، وكذلك قابلية التنبؤ على مستوى الكلمات، من دون فتح عشرات الألسنة المنفصلة للقيام بذلك.