نهج جديدة يساعد في الكشف عن هذيان النماذج اللغوية الكبيرة

هناك قيود تحد من إمكانية الاعتماد على النماذج اللغوية الكبيرة، من بينها ميل هذه النماذج إلى الخلط بين الحقائق والخيال بشكل يصعب معه على المستخدمين التمييز بينهما. وتُعرف هذه الظاهرة بالهذيان.

يؤكد أرتيم شيلمانوف، وهو باحث علمي أول في جامعة محمد بن زايد للذكاء الاصطناعي، أنه على الرغم من عمل العلماء بشكل متواصل لتحسين النماذج اللغوية، فربما يكون القضاء على الهذيان كلياً هدفاً غير واقعي، موضحاً أنه: “بحسب التحليلات النظرية للنماذج اللغوية الكبيرة، من المستحيل رياضياً منع الهذيان في جميع الحالات، وذلك بسبب طريقة تصميم النماذج وتدريبها”.

شارك شيلمانوف مع زملائه في جامعة محمد بن زايد للذكاء الاصطناعي ومؤسسات أخرى في إعداد دراسة بحثية تقترح طريقة جديدة للكشف عن الهذيان في النماذج اللغوية الكبيرة عبر قياس درجات عدم اليقين. وقد قُدِّمت هذه الدراسة في الاجتماع السنوي الـ 62 لجمعية اللغويات الحاسوبية في بانكوك.

وفي هذا الصدد، قال مكسيم بانوف، أحد المشاركين في إعداد الدراسة وأستاذ مساعد في قسم تعلم الآلة في جامعة محمد بن زايد للذكاء الاصطناعي: “بينما يريد المطورون إنشاء نماذج لا تخطئ أبداً، فإن أفضل النماذج لا بد أن تخطئ. وطريقتنا قادرة على الكشف عن هذه الأخطاء”.

قياس درجة الثقة

تنشئ النماذج اللغوية الكبيرة النصوص بناءً على مبادئ الاحتمالات. فعندما يطرح المستخدم سؤالاً على نموذج لغوي كبير، يقدم النموذج إجابة يراها محتملة بناءً على تفاصيل السؤال وطريقة تدريب النموذج وضبطه. وتنشئ النماذج اللغوية الكبيرة نصوصاً على مستوى العنصر اللغوي، الذي قد يكون كلمة أو جزءاً من كلمة أو علامة ترقيم. ويتنبأ النموذج بالعنصر اللغوي التالي الأرجح في السلسلة عن طريق حساب الاحتمالات لكل عنصر مع تقدم عملية إنشاء النص. وهذه الاحتمالات ترتفع بالنسبة لبعض العناصر اللغوية وتنخفض بالنسبة لبعضها الآخر، وهي تعطي فكرة عن مستوى ثقة النموذج في النص الذي ينشئه.

تعتمد طريقة الباحثين على هذا المقياس الداخلي لدرجة عدم اليقين على مستوى العنصر اللغوي للكشف عن هذيان النموذج، حيث يمكن تحديد أجزاء النص التي تتدنى مستوى ثقة النموذج اللغوي الكبير فيها في واجهة المستخدم. ويطلق الباحثون على طريقتهم اسم الاحتمال الشرطي للمعلومة، وهي أول طريقة تستخدم قياس درجات عدم اليقين بالاعتماد فقط على النموذج اللغوي الكبير الذي يولد النص.

هناك طرق أخرى للكشف عن الهذيان، مثل التحقق الآلي من الحقائق عن طريق البحث عن مجموعة بيانات خارجية أو في نموذج لغوي آخر. ولكن هذا يتطلب قدراً كبيراً من العمليات الحسابية كما يؤكد بريسلاف ناكوف، وهو أحد مُعدي الدراسة ورئيس قسم معالجة اللغة الطبيعية في جامعة محمد بن زايد للذكاء الاصطناعي. ويوضح ناكوف أن طريقة الاحتمال الشرطي للمعلومة تتميز بالكفاءة لآن النماذج اللغوية الكبيرة تحسب أصلاً الاحتمالات لكل عنصر لغوي، حيث يقول: “نحن نستخدم فقط الاحتمالات الداخلية التي يحسبها النموذج في جميع الأحوال”.

صحيح أن طريقة الاحتمال الشرطي للمعلومة لا تبين صراحةً صحة المعلومة من عدمها، ولكنها يمكن أن تحدد أجزاء النص التي يتدنى فيها مستوى ثقة النموذج، مما يحسن من إمكانية استخدام النصوص التي تولدها النماذج اللغوية الكبيرة بالمقارنة مع الوضع الحالي.

ويضيف بانوف: “نحن نسعى لتحديد أجزاء النص التي تتطلب التحقق من صحتها بحيث يعرف المستخدم باحتمال وجود خطأ في أحد المقاطع. فالناس يستخدمون النماذج اللغوية الكبيرة بأشكال كثيرة، وهي تقدم قدراً هائلاً من المعلومات غير الدقيقة”.

أنواع مختلفة من عدم اليقين

لا تقتصر الطريقة التي يقترحها الباحثون على تحديد الحالات التي يتدنى فيها مستوى ثقة النماذج اللغوية الكبيرة في المعلومة، لأن هناك أنواعاً مختلفة من عدم اليقين في النماذج اللغوية الكبيرة.

فقد يكون النموذج غير متأكد من المرادف الذي يجب استخدامه، أو الترتيب الأفضل للفقرات. على سبيل المثال، عندما يُطلب من نموذج لغوي كبير إنشاء سيرة ذاتية لشخص معين، قد يبدأ إجابته بمكان ميلاد ذلك الشخص أو تاريخ ميلاده أو أي معلومة أخرى. لكن هذين النوعين من عدم اليقين لا يؤثران على صحة المعلومة ويمكن تجاهلهما.

للتمييز بين الأنواع المختلفة من عدم اليقين في النموذج، استخدم الباحثون طريقة تسمى “استدلال اللغة الطبيعية” وتسمح بتحديد حالات عدم اليقين المتعلقة بصحة المعلومة. وبعد تصفية حالات عدم اليقين غير المهمة، كالتي تتعلق بالمرادفات أو الترتيب، يمكن للباحثين أن يحددوا بدقة أكبر احتمال عدم صحة المعلومة. وفي هذا الشأن يقول شيلمانوف: “حاولنا تحسين توزيع الاحتمالات عن طريق إزالة هذه الحالات غير المهمة”.

ووضع الباحثون مقياساً للمقارنة بين طريقة الاحتمال الشرطي للمعلومة والطرق الأخرى لقياس درجات عدم اليقين في مختلف النماذج اللغوية الكبيرة. وضم هذا المقياس سيراً ذاتية تم إنشاؤها آلياً وتحتوي على هذيان. وأظهرت النتائج تفوق طريقة الاحتمال الشرطي للمعلومة على الطرق الأخرى في سبعة نماذج لغوية كبيرة، من بينها GPT-3.5-turbo وGPT-4 من شركة “أوبن أيه آي”، وذلك في أربع لغات هي العربية والصينية والإنجليزية والروسية.

تعتمد طريقة الاحتمال الشرطي للمعلومة على بحث سابق أجراه شيلمانوف وبانوف وآخرون تحت عنوان كاشف الكذب في النماذج اللغوية يوفر إطاراً لقياس درجة عدم اليقين في النماذج اللغوية، وهو متاح للمطورين والباحثين على شكل مكتبة تتضمن نصاً برمجياً لقياس درجات عدم اليقين يمكن دمجه في النماذج اللغوية الكبيرة.

ويشير ناكوف إلى أن أحد القيود في طريقة الاحتمال الشرطي للمعلومة هو اعتمادها على المعرفة الداخلية للنموذج وليس على حقائق خارجية، وبالتالي من الممكن دائماً ألا تكشف عن معلومات غير دقيقة يقدمها نموذج معين لأن كل شيء في العالم الواقعي يتغير دائماً. ويستدرك قائلاً: “ولكن هذه مشكلة من نوع مختلف”.

على الرغم من ذلك، يواصل الباحثون عملهم على تطوير طريقة الاحتمال الشرطي للمعلومة وتحديد سبل إضافتها إلى النماذج اللغوية الكبيرة ليستفيد منها المستخدمون. ويوضح شيلمانوف المرحلة التي وصلوا إليها قائلاً: “بالنسبة للكفاءة الحسابية، لم نصل بعد إلى المستوى الذي يمكن معه تطبيق هذه الطريقة على نطاق واسع، ولكننا نسير في ذلك الاتجاه”.