كيف تُفكّر النماذج اللغوية؟ إشارات داخلية جديدة تساعد في كشف هلوسة الذكاء الاصطناعي بدقة أعلى

عندما لا تكون النماذج اللغوية متأكدة مما ينبغي أن تقوله، فإنها تميل إلى اختلاق المعلومات. وهذه مشكلة بحد ذاتها. لكن ما يزيد الطين بلة هو أن هذه النماذج تبدو واثقة من نفسها حتى عندما تقدم معلومات مختلقة، ما يصعّب على المستخدم اكتشاف حالات الهلوسة.

وقد طوّر الباحثون أساليب متعددة لمعالجة هذه الظاهرة، من بينها الرجوع إلى مصادر معرفة خارجية أو التحقق من مخرجات النموذج عبر مقارنتها مع مخرجات نماذج أخرى. ولكن هذه الطرق الحالية تواجه قيوداً واضحة، كما أنها قد تكون مكلفة حسابياً.

في هذا السياق، اعتمد فريق من الباحثين من جامعة محمد بن زايد للذكاء الاصطناعي ومؤسسات بحثية أخرى نهجاً مختلفاً يحمل إمكانات واعدة لجعل رصد الهلوسة أكثر دقة وكفاءة. يقوم هذا النهج على مفهوم يسمى قياس درجة عدم اليقين، وهو يتلخّص في أن النماذج اللغوية تُشفّر بطبيعتها إشارات تدل على مستوى الثقة في الإجابات التي تولدها ضمن حالاتها الداخلية، وهذه المعرفة الذاتية يمكن استخراجها بفعالية لرصد الهلوسة.

عمل الباحثون على بناء وتدريب وحدات أطلقوا عليها اسم وحدات قياس درجة عدم اليقين، وهي وحدات صغيرة وفعالة قادرة على فحص الحالات الداخلية للنموذج اللغوي وإعطاء تقديرات لموثوقية المقاطع النصية المولَّدة، مع تحديد الأجزاء التي يُحتمل أن تكون هلوسة. ولا تُجري هذه الوحدات أي تعديل على عملية توليد النص داخل النموذج، بل تعتمد حصرياً على إشاراته الداخلية، ولا تحتاج إلى أي مصادر معرفة خارجية. كما يمكن استخدامها بطريقة مرنة قابلة للإضافة المباشرة دون إعادة تصميم النموذج.

وجد الفريق أن وحدات قياس درجة عدم اليقين حققت أفضل أداء مسجَّل حتى الآن في رصد الهلوسة على مستوى الادعاءات النصية، وأظهرت كفاءة عالية سواء في الأسئلة ضمن نطاق التدريب أو خارجه. بل إنها نجحت في التعميم على لغات لم تُدرَّب عليها النماذج أصلاً.

وقد عُرضت نتائج هذه الدراسة مؤخراً في مؤتمر الأساليب التجريبية في معالجة اللغة الطبيعية لعام 2025 الذي استضافته مدينة سوتشو في الصين. وشارك في إعدادها كل من أرتيم شيلمانوف، وإيكاترينا فاديفا، وأكيم تسفيغون، وإيفان تسفيغون، وتشوهان شيه، وإيغور كيسيليف، ونيكو داهيم، وتسايكي تشانغ، وأرتيم فاجينتسيف، ومرينمايا ساشان، وبريسلاف ناكوف، وتيموثي بالدوين.

من أنماط الانتباه إلى كشف الهلوسة

تعتمد وحدات قياس درجة عدم اليقين على مصدرين رئيسيين للمعلومات داخل النماذج اللغوية، وهما خرائط الانتباه واحتمالات العناصر اللغوية.

تُظهر خرائط الانتباه المواضع التي “ينظر” إليها النموذج عند توليد كل كلمة، سواء كان يركّز على الأمر المُدخل أو على مخرجاته السابقة. وقد يكون توجيه الانتباه إلى المخرجات نفسها بشكل مبالغ فيه مؤشراً على حدوث الهلوسة.

أما احتمالات العناصر اللغوية فهي قيم ترتبط بدرجة ثقة النموذج في اختياره للكلمات. فعندما يكون الفارق كبيراً بين أعلى قيمة والقيمة التالية لها، يكون النموذج واثقاً من اختياره. أما عندما يكون الفارق ضئيلاً، فتكون درجة الثقة أقل، مما يشير إلى هلوسة محتملة.

يقول أرتيم شيلمانوف، الباحث العلمي الأول في جامعة محمد بن زايد للذكاء الاصطناعي والمؤلف الرئيسي للدراسة، إن فريقه عمل على هذه المشكلة على مدى عامين تقريباً، ولاحظ أن أوزان الانتباه واحتمالات العناصر اللغوية توفّر إشارات قوية لكشف الهلوسة. ويضيف قائلاً: “كان حدسنا أن الإشارات القائمة على الانتباه يمكن أن تعمّم بصورة أفضل من الإشارات المستمدة من الحالات الخفية. فعند استخدام الحالات الخفية، يميل كاشف الهلوسة إلى حفظ الموضوعات التي يتعامل معها جيداً وتلك التي لا يتعامل معها، بدلاً من تعلّم مفهوم عام وقابل للتعميم للثقة”.

ويشير شيلمانوف إلى أن أحد العوامل التي تعزّز قوة هذا النهج مقارنة بطرق أخرى هو أن هذه الوحدات تقوم على بنية المحوّل، حيث يقول: “اخترنا المحوّل لما يتمتع به من قدرة تعبيرية عالية ومرونة وعمومية مثبتة في طيف واسع من مهام معالجة اللغة الطبيعية”.

وهو يوضح أن الباحثين دربوا هذه الوحدات باستخدام مسار آلي متكامل يستعين بنموذج لغوي آخر يقوم بدور الحَكَم لتوليد بيانات تدريب مصنفة. وفي هذا المسار، يُستخدم نموذج لغوي واحد أو أكثر لتصنيف النصوص وتحديد مواضع الهلوسة بدقة عالية. ثم تُدرَّب وحدة قياس درجة عدم اليقين على هذه البيانات المصنفة للتنبؤ بالهلوسة استناداً إلى التمثيلات الداخلية لأوزان الانتباه واحتمالات العناصر اللغوية في النموذج اللغوي المستهدف.

ويؤكد الباحثون أن هذا المسار الآلي يمثل طريقة منخفضة التكلفة لبناء مجموعات بيانات ضخمة تُنتجها نماذج لغوية متنوعة ويمكن تصنيف الهلوسات فيها على مستوى الادعاءات الفردية.

أداء قوي في مختلف المجالات واللغات

أظهر نهج الفريق تحسناً ملحوظاً مقارنة بالأساليب الأخرى. فقد قارن الباحثون بين وحدات قياس درجة عدم اليقين والطرق البديلة، ووجدوا أن نهجهم تفوق على أقرب نظام منافس بنسبة 5% عند تقييم الأداء ضمن نطاق التدريب. أما بالنسبة للأداء خارج نطاق التدريب، فقد تفوق نهجهم على جميع الطرق الخاضعة للإشراف في مختلف المجالات، باستثناء مجال المعالم الجغرافية، حيث تأخر قليلاً عن أقرب منافس.

كما وجد الباحثون أن وحدات قياس درجة عدم اليقين تُظهر قدرة قوية على التعميم في لغات أخرى غير التي تدربت عليها، حيث حققت أداء أفضل من الأنظمة الأخرى بنسبة 13% في اللغة الألمانية و10% في الصينية و9% في الروسية، رغم أن هذه الوحدات دُرّبت حصرياً على اللغة الإنجليزية.

يقول شيلمانوف: “فوجئنا بقدرتها على التعميم ليس فقط على مجالات أخرى، بل أيضاً على لغات أخرى. وهذا يعني أنه يمكن تدريب كاشف الهلوسة على السير الذاتية باللغة الإنجليزية، ثم تطبيقه على النسخ الألمانية أو الصينية من السير نفسها”، مشيراً إلى أن هذا التعميم عبر اللغات المختلفة قد يعود إلى تشابه أنماط الهلوسة داخل النماذج عبر اللغات المختلفة.

تطبيقات عملية

يؤكد شيلمانوف على أهمية قياس درجة عدم اليقين في العديد من التطبيقات، حيث يمكن دمجه في النماذج اللغوية الحالية لتمييز المقاطع النصية التي يُحتمل أن تكون غير موثوقة بلون مختلف، مما يساعد المستخدم على معرفة المحتوى الذي يُحتمل أن يكون هلوسة والتحقق منه. كما أن هذا النهج يُكمل الأساليب الأخرى، ويمكن استخدامه معها.

ويشير شيلمانوف إلى الكفاءة العالية لهذا النهج قائلاً: “يمكننا استبدال نماذج المكافأة الضخمة بوحدات مدمجة لقياس درجة عدم اليقين لا تحتوي سوى على 10 إلى 20 مليون معامل، مع تحقيق أداء مماثل وتوفير كبير في الكلفة الحاسوبية”.

وفي الختام، يقول شيلمانوف إن فوائد النهج الجديد لا تقتصر على كشف الهلوسة، بل يمكن استخدامه مثلاً في خوارزميات التوسيع أثناء وقت الاختبار لتحسين أداء النماذج اللغوية في مهام الاستدلال. وهذا يسمح بتعزيز دقة النموذج في مهام الاستدلال المعقدة المرتبطة بالرياضيات أو التخطيط متعدد الخطوات دون زيادة حجم النموذج.