من داخل النموذج نفسه.. نهج جديد لقياس موثوقية استدلال الذكاء الاصطناعي

أظهرت دراسة جديدة أن تعزيز القدرة الاستدلالية للنماذج اللغوية الكبيرة عبر منحها وقتاً إضافياً أثناء الاستدلال، وهو ما يُعرف بـ “التوسع في الحوسبة وقت الاستدلال”  (Test-Time Compute Scaling)، يسهم في تحسين جودة مخرجاتها من خلال إتاحة الفرصة لاستكشاف مسارات استدلال متعددة قبل الوصول إلى الإجابة. ويقوم هذا النهج على مقايضة زيادة الموارد الحاسوبية، ولا سيما وحدات معالجة الرسومات (GPUs)، بالحصول على نتائج أكثر دقة وموثوقية.

ويعد تقييم جودة مسارات الاستدلال – أو حتى الخطوات الفردية ضمنها – عنصراً أساسياً في هذه العملية، إذ يساعد النموذج على توجيه عملية التفكير نحو المسارات الأكثر ترجيحاً للصواب.

ويجري هذا التقييم عادة باستخدام نموذج مستقل يُعرف باسم “نموذج مكافأة العملية” (Process Reward Model – PRM)، وهو في الغالب نموذج لغوي آخر يعمل إلى جانب النموذج الأساسي لتقييم جودة خطواته الاستدلالية. ورغم فعالية هذا النهج، فإن نماذج “PRM”  غالباً ما تكون ضخمة، إذ تضم أحياناً مليارات المعاملات، ما يؤدي إلى زيادة كبيرة في التكلفة الحاسوبية.

وفي هذا السياق، طور باحثون من جامعة محمد بن زايد للذكاء الاصطناعي، والمعهد الفيدرالي السويسري للتكنولوجيا في زيورخ، وجامعة سنغافورة الوطنية، آلية جديدة للتحقق أطلقوا عليها اسم ReProbe. وتقوم هذه الآلية، بدلاً من الاعتماد على نموذج خارجي لتقييم الاستدلال، بتحليل الحالات الداخلية للنموذج نفسه لقياس مستوى ثقته في خطواته الاستدلالية، انطلاقاً من فرضية مفادها أن ارتفاع ثقة النموذج أثناء التفكير يزيد من احتمال صحة استنتاجاته.

ويشرح أرتيم شيلمانوف، أستاذ مساعد ممارس في معالجة اللغة الطبيعية بجامعة محمد بن زايد للذكاء الاصطناعي الفكرة قائلا: “يمكن تشبيه ReProbe بجهاز كشف الكذب الخاص بالنماذج اللغوية؛ ففي حين تُقيِّم نماذج “PRM” الإجابات النصية التي ينتجها النموذج، يعمل ReProbe كما لو أنه يضع أقطاباً كهربائية على ’دماغ‘ النموذج لرصد ما إذا كان يتردد أثناء التفكير”.

يذكر أن شيلمانوف الذي يقود فريق تطوير آلية ReProbe، قد سبق له المشاركة في تطوير إطار Uncertainty Quantification Heads، المخصص لتحليل الحالات الداخلية للنماذج اللغوية الكبيرة، والذي استُخدم في الأصل لرصد ظاهرة “الهلوسة” في الذكاء الاصطناعي، وشكل الأساس العلمي الذي انطلقت منه المنهجية الجديدة.

ويشار أيضاً إلى أنه من المقرر عرض نتائج الدراسة التي يقودها شيلمانوف خلال جلسة شفوية في الاجتماع السنوي الرابع والستين لـ رابطة اللغويات الحاسوبية (ACL)، بمشاركة كل من الباحثين جينغوي ني، وإيكاترينا فادييفا، وتيانيي وو، ومباشرة أختر، وجياهينغ تشانغ، وإليوت آش، وماركوس ليبولد، وتيموثي بالدوين، وسي-كيونغ نغ، وميرينمايا ساشان.

كيف تعمل آلية ReProbe؟

يصف الباحثون آلية ReProbe بأنها وحدة “جاهزة للتشغيل” (Plug-and-Play)، تُضاف إلى النموذج اللغوي الأساسي لتقدير احتمال صحة كل خطوة استدلالية أثناء توليد الإجابة. وتُحقق الآلية ذلك من خلال استخراج مؤشرات من الحالات الداخلية للنموذج مع كل عنصر لغوي (Token) ينتجه النموذج، سواء عبر قيم الانتباه العددية (Attention Weights) أو قيم المخرجات  (Logits)، أو الحالات المخفية (Hidden States) في طبقاته المختلفة.

ورغم أن الدراسة السابقة الخاصة بإطار Uncertainty Quantification Heads استخدمت نهجاً مشابهاً للكشف عن هلوسة النماذج اللغوية، فإن هذه هي المرة الأولى التي يُوظف فيها لتحليل جودة عمليات الاستدلال نفسها.

وأوضح شيلمانوف هذه المقاربة قائلاً: “نسعى إلى استخراج أكبر قدر ممكن من المعلومات من النموذج ذاته، لأن الاعتماد على أدوات خارجية مثل نماذج PRM أو قواعد المعرفة قد يعني التعامل مع معلومات غير مكتملة أو غير منظمة، فضلاً عن الكلفة الحاسوبية الإضافية الكبيرة التي يفرضها استخدامها”.

وأشار البروفيسور إلى أن نموذج PRM قد يضيف ما يصل إلى ثمانية مليارات معاملا، وهو ما ينعكس مباشرة على حجم الموارد الحاسوبية المطلوبة. كما أن هذه النماذج غالباً ما تكون متخصصة في مجالات محددة، ولا تحقق الأداء نفسه عند الانتقال إلى مجالات أخرى، وهذا في مقابل آلية ReProbe التي لا يتجاوز حجم معاملاتها العشرة ملايين، والتي تحافظ على قوة أدائها عبر نطاقات معرفية مختلفة.

تدريب النموذج

عمل الباحثون على تدريب ReProbe لتمييز السمات التي تعكس حالة استدلال واثقة وصحيحة داخل النموذج. ولتحقيق ذلك، استخدموا نموذجاً لغوياً أساسياً لحل أكثر من 10 آلاف مسألة رياضية من مجموعة بيانات PRM800K، ما أسفر عن توليد أكثر من 30 ألف مسار استدلالي.

وبعد ذلك، صُنفت كل خطوة على أنها صحيحة أو غير صحيحة بواسطة نموذج لغوي تولى دور “التحكيم”. واعتمد الباحثون نهجين في التدريب: الأول تدريب موجّه (Supervised)، حيث تولى DeepSeek-R1 مهمة التقييم، والثاني تدريب ذاتي الإشراف  (Self-Supervised)، إذ قام النموذج الأساسي بتقييم استجاباته بنفسه.

وتتميز آلية ReProbe بإمكانية تدريبها بطريقة مبسطة من دون الحاجة إلى أي جهة تَحقُقٍ خارجية أو بيانات موسومة من قبل البشر. كما أن النموذج اللغوي الأساسي لا يخضع لأي تعديل أثناء عملية التدريب.

نتائج الدراسة

قارن الباحثون أداء ReProbe بعدة إعدادات مع نماذج PRM تراوح حجمها بين 1.5 مليار و8 مليارات معامل، مستخدمين نموذجين من أحدث النماذج اللغوية الكبيرة، هما Qwen-3 وPhi-4، بوصفهما النماذج الأساسية.

وشملت الاختبارات ثلاثة مجالات مختلفة هي: الاستدلال الرياضي، والتخطيط، والإجابة عن أسئلة المعرفة العامة. ونظراً إلى أن كلاً من ReProbe ونماذج PRM دُربت حصراً على مسائل رياضية، اعتُبر الاستدلال الرياضي مجالاً مألوفاً للنموذج، بينما عُدّ كل من التخطيط والمعرفة العامة مجالين خارج نطاق التدريب.

كما قيّم الباحثون أداء النماذج في ثلاثة سيناريوهات مختلفة، شملت دقة تقييم كل خطوة استدلالية، واختيار أفضل إجابة من بين عدة محاولات (Best-of-N) وآلية البحث الشعاعي .(Beam Search)

وقد أظهرت النتائج أن إصدارات ReProbe حققت، في المتوسط، أداءً يماثل أو يتفوق على أكبر نماذج PRM في تقييم صحة الخطوات الاستدلالية، مع احتفاظ النماذج الأكبر بأفضلية طفيفة في المسائل الرياضية التي تدرب الطرفان عليها. ويصف شيلمانوف هذه النتيجة بأنها لافتة، بالنظر إلى أن حجم أكبر نماذج PRM يزيد بنحو 810 مرات على حجم .ReProbe

ولم يقتصر تفوق ReProbe على الدقة، بل شمل أيضاً سرعة التنفيذ، إذ تراوح أداؤه بين 2.6 و25 مرة أسرع من نماذج PRM خلال عمليات فك الترميز باستخدام أسلوب البحث الشعاعي.

وعند اختبار النماذج على بيانات خارج نطاق التدريب، حقق ReProbe أداءً أفضل في المتوسط من نماذج PRM. ويعزو شيلمانوف ذلك إلى أن “الثقة” التي يعتمد عليها النموذج تُعد سمة عامة لا ترتبط بمجال معرفي بعينه، ما يمنحه قدرة أفضل على التعميم.

ومع ذلك، يشير الباحثون إلى أن الاختيار لا ينبغي أن يكون بين ReProbe ونماذج PRM، إذ أظهرت التجارب أن الجمع بين النهجين يوفر نتائج أفضل من استخدام أي منهما منفرداً.

ويرى فريق الدراسة أن هذه النتائج تشير إلى أن كل منهج يلتقط جانباً مختلفاً من جودة الاستدلال، ما يفتح الباب أمام تطوير نماذج تَحَقُق هجينة تجمع بين التقييم الذاتي القائم على مستوى الثقة، وآليات مكافأة العملية، بما يعزز موثوقية النماذج اللغوية في المستقبل.