كيف يمكن للتعاون بين نماذج الذكاء الاصطناعي أثناء التدريب أن يحسّن قدرتها على الاستدلال؟

طوّر باحثون خلال السنوات الأخيرة أُطراً تسمح للنماذج اللغوية الكبيرة بالتعاون عند الإجابة عن سؤال ما، انطلاقاً من فكرة بسيطة مفادها أن أداء نموذجين يعملان معاً قد يكون أفضل من أداء نموذج واحد منفرداً، ولا سيما عند التعامل مع المسائل الصعبة التي تتطلب قدراً أكبر من الاستدلال.

إلا أن هذا النهج لا يخلو من العيوب، فتشغيل أكثر من نموذج في مرحلة الاستدلال يرفع التكلفة، كما أن تعاون النماذج قد يساعدها على حل أسئلة لم تكن لتجيب عنها منفردة، من دون أن يعني ذلك أنها تعلّمت شيئاً جديداً بالفعل.

وتقترح دراسة جديدة لباحثين من جامعة محمد بن زايد للذكاء الاصطناعي نهجاً مختلفاً: بدلاً من تعاون النماذج أثناء الاستدلال، ستعمل معاً خلال مرحلة التدريب.

يحمل الإطار الجديد اسم الاستدلال التعاوني من خلال التدريس المتبادل، أو CoRe، ويقوم على تدريب نموذجين لغويين صغيرين ضمن بيئة تعاونية، بما يحسّن قدرتهما على الاستدلال سواء عملا معاً أو بصورة مستقلة.

ويقول كشيتيج ميشرا، الباحث ما بعد الدكتوراه في تعلم الآلة بجامعة محمد بن زايد للذكاء الاصطناعي والمؤلف الرئيس للدراسة: “الأمر يشبه وجود شخصين يجلسان في غرفة واحدة لحل مجموعة من المسائل معاً فقد يتمكن أحدهما من الإجابة عن بعض الأسئلة، بينما ينجح الآخر في أسئلة مختلفة، لكنهما إذا تبادلا المعرفة أثناء التدريب ثم غادرا الغرفة، فمن المفترض أن يصبح أداء كل منهما أفضل مما كان سيكون عليه لو لم يعملا معاً قط”.

وقد عُرضت الدراسة المتعلقة بإطار CoRe مؤخراً خلال المؤتمر الدولي الثالث والأربعين لتعلم الآلة، الذي عُقد في سيول، وشارك في تأليفها كل من ميرات أوباكيروف، ومارتن تاكاش، ونيلس لوكاس، وسالم لحلو.

متى ينجح التعاون… ومتى يفشل؟

ترتبط إحدى مشكلات التعاون أثناء الاستدلال بظاهرة تُعرف باسم الفشل المترابط حيث أنه في حال أخفق نموذج في فهم فكرة أساسية في مسألة ما، فإن توليد إجابات إضافية منه، أو حتى تشغيل نسخ متعددة من النموذج نفسه، سيؤدي على الأرجح إلى أخطاء متشابهة فالأمر أشبه بلجنة تضم أشخاصاً يشتركون جميعاً في النقاط العمياء نفسها، فيتفقون على أنهم اتخذوا القرار الأفضل، بينما يكونون في الواقع مخطئين بالطريقة نفسها.

ويعرض الباحثون في الدراسة مبرهنة تصف هذه الظاهرة. ففي نظام يضم نموذجاً أقوى وآخر أضعف، يعتمد مقدار التحسن الذي يحققه النموذجان معاً مقارنة بأداء النموذج الأقوى منفرداً على احتمال أن يكون النموذج الأضعف مصيباً في الحالات التي يخطئ فيها النموذج الأقوى. وبعبارة أخرى، لا يكون التعاون مفيداً إلا إذا لم تتطابق أخطاء النموذجين.

وهذا ما دفع الباحثين إلى بناء إطار يركز على ما يسمونه نجاح الفريق؛ أي تدريب النماذج على الوصول إلى الإجابات الصحيحة بطرائق مختلفة، وتشجيع قدر من التنوع في أساليب الاستدلال.

كيف يعمل إطار CoRe؟

تشبه عملية التدريب في CoRe تمريناً صفياً يجري على مرحلتين، ففي المرحلة الأولى، يحاول كل نموذج حل المسألة بصورة مستقلة، من دون أي مساعدة أو تلميحات. فإذا نجح أحد النموذجين، تتحول طريقة حله إلى مادة تدريبية للنموذج الآخر في المرحلة الثانية. ويُستخرج مسار الاستدلال الصحيح ويُدرج في تعليمات جديدة تُقدم إلى النموذج الذي أخفق، ثم يُطلب منه محاولة الإجابة مرة أخرى.

ووضع الباحثون شرطين للحفاظ على نزاهة عملية التعلم:

الشرط الأول: لا تتضمن التلميحات الإجابة النهائية؛ بل يرى النموذج الذي أخفق فقط الكيفية التي توصل بها النموذج الآخر إلى الحل الصحيح. ويشبه ذلك أن يطّلع الطالب على خطوات زميله من دون أن يرى الإجابة النهائية.

الشرط الثاني: تُحجب التلميحات في بعض الحالات، ضمن تقنية يسميها الباحثون إسقاط التلميح. ويمنع ذلك النماذج من الاعتماد المفرط على دعم نظيراتها من النماذج، لأنها عند مرحلة الاستدلال تعمل بصورة مستقلة ولا تتلقى أي مساعدة.

كما استخدم الباحثون إطاراً قائماً على التعلم المعزز لمكافأة عملية التعلم فتحصل النماذج على مكافأة عند تقديم إجابات صحيحة، وعلى مكافأة إنقاذ عندما ينجح نموذج أخفق في الجولة الأولى في الإجابة بصورة صحيحة خلال الجولة الثانية، إضافة إلى مكافأة استكشاف تُمنح عند إنتاج مسار استدلال يختلف عما جُرّب سابقاً، بهدف الحد من الفشل المترابط.

ويشرح ميشرا ذلك قائلاً: “إذا قادت بعض الرموز إلى نتيجة صحيحة، فإننا نزيد من احتمالية استخدامها. وإذا كانت إحدى استراتيجيات الاستدلال صحيحة، فإننا نركز عليها بدلاً من الاستراتيجية الأخرى”.

النتائج ومستقبل التعاون بين النماذج

اختبر الباحثون زوجين من النماذج اللغوية الصغيرة، لم يتجاوز مجموع عدد معاملاتها نحو سبعة مليارات معامل.

وضم الزوج الأول نموذجَي Qwen2.5-3B-Instruct وQwen3-4B-Instruct، بينما ضم الزوج الثاني نموذجَي Phi-4-mini-reasoning وMinistral-3-3B-reasoning.

واختُبرت هذه النماذج وفق أربعة معايير مرجعية للاستدلال تشمل الرياضيات، وحل المشكلات، والإجابة عن الأسئلة العلمية. وقسّم الباحثون كل معيار إلى مجموعات للتدريب والاختبار، ولم يستخدموا أكثر من ألف مثال تدريبي في أي معيار.

وقبل التدريب، كان زوج نماذج Qwen يحل نحو 60% من مسائل الرياضيات في مجموعة بيانات GSM8K عند عمله كفريق. وبعد التدريب باستخدام CoRe، ارتفعت النسبة إلى 99.54%.

أما زوج نماذج الاستدلال، فحقق دقة بلغت 92% على معيار MATH، ونحو 80% على معيار AIME لحل المشكلات، وأكثر من 77% على GPQA، وهي مجموعة بيانات تضم أسئلة علمية بمستوى الدراسات العليا.

وتفوقت هذه النتائج على تدريب نموذج واحد، كما تجاوزت خطاً أساسياً جمع نموذجين دُرّبا بصورة مستقلة ثم استُخدما معاً أثناء الاختبار.

لكن النتيجة الأهم ربما ظهرت عندما اختُبرت النماذج منفردة بعد انتهاء التدريب؛ إذ تحسن أداؤها مقارنة بما كان عليه قبل التدريب، ما يدل على أنها اكتسبت معرفة فعلية من عملية التعاون.

فعلى سبيل المثال، ارتفعت دقة نموذج Phi-4-mini-reasoning عند اختباره منفرداً على معيار MATH من 57% إلى 85% بعد تدريبه باستخدام CoRe.

ما الذي تعلمه الباحثون من CoRe؟

يرى سالم لحلو، الأستاذ المساعد في تعلم الآلة بجامعة محمد بن زايد للذكاء الاصطناعي والمشارك في تأليف الدراسة، أن العمل قدّم رؤيتين أساسيتين.

الأولى، بحسب قوله، هي أن “CoRe أظهر فوائد إدماج التنوع مباشرة في هدف التدريب”.

أما الرؤية الثانية، فهي أكثر مفاهيمية وقد تكون لها آثار أوسع على مستقبل الأطر التعاونية. فقد درست أبحاث سابقة التعاون بين النماذج أثناء الاختبار، بينما كشف CoRe عن فوائد التعاون أثناء التدريب.

ويطرح لحلو السؤال التالي: “هل يمكننا البدء في تطوير نظرية تحدد متى يكون التعاون أثناء التدريب أفضل من التعاون أثناء الاختبار؟”، لكن هذا السؤال لا يزال مفتوحاً.