مجموعة بيانات جديدة لتقييم أمان النماذج اللغوية الكبيرة باللغة العربية من منظورين

في السنوات القليلة الماضية، عمل فريق من الباحثين في جامعة محمد بن زايد للذكاء الاصطناعي على تحليل مستوى الأمان في النماذج اللغوية الكبيرة في لغات وثقافات مختلفة. وطور الفريق مجموعات بيانات مخصصة لقياس مدى أمان هذه النماذج باللغتين الإنجليزية والصينية. وفي مؤتمر عُقد مؤخراً، قدم الباحثون مجموعة بيانات جديدة صُممت خصيصاً لقياس أمان النماذج اللغوية الكبيرة في لغة أخرى يتحدث بها مئات الملايين حول العالم، وهي اللغة العربية.

الباحث الرئيسي الذي عمل على هذه الدراسة هو ياسر أشرف، وهو طالب ماجستير في جامعة محمد بن زايد للذكاء الاصطناعي يكرّس معظم وقته لدراسة أساليب الحوسبة الموفرة للطاقة، مثل الشبكات العصبية النبضية، لكنه يهتم أيضاً بجهود تطوير نماذج لغوية كبيرة آمنة، لا سيما للغات التي تفتقر إلى كميات كافية من البيانات اللازمة لتدريب النماذج، مثل اللغة العربية. وهو يوضح أهمية هذه الدراسة قائلاً: “تحتاج النماذج اللغوية الكبيرة إلى مواءمة مع اللغات والثقافات المختلفة. وقد يكون ذلك صعباً، خصوصاً بالنسبة إلى النماذج متعددة اللغات، إلا أن مستوى الأمان في هذه الأنظمة ما زال بحاجة إلى مزيد من البحث والاستكشاف”.

عُرضت نتائج الدراسة التي أعدها أشرف وزملاؤه خلال المؤتمر السنوي لفرع جمعية اللغويات الحاسوبية في القارة الأمريكية 2025 الذي عُقد في وقت سابق من هذا الشهر. وشارك في إعداد الدراسة من جامعة محمد بن زايد للذكاء الاصطناعي كل من بريسلاف ناكوف وتيموثي بالدوين.

من الإنجليزية إلى الصينية ثم العربية

تستند مجموعة البيانات العربية إلى مجموعة بيانات صينية اسمها “Do Not Answer” طورتها يوكسيا وانغ وباحثون آخرون في جامعة محمد بن زايد للذكاء الاصطناعي. وتشير وانغ، وهي أيضاً من المشاركين في إعداد الدراسة التي عُرضت خلال المؤتمر السنوي لفرع جمعية اللغويات الحاسوبية في القارة الأمريكية هذا العام، إلى أن مواءمة النماذج مع اللغة العربية وثقافتها تمثل تحدياً بسبب التنوع اللغوي والثقافي الواسع الذي تتميز به العربية. فهي اللغة الرئيسية في أكثر من 20 دولة تمتد من المحيط الأطلسي إلى المحيط الهندي، ولكل منها لهجاتها وثقافاتها الخاصة.

لإنشاء مجموعة البيانات العربية، تعاون الفريق مع متحدثين أصليين باللغة لترجمة مجموعة البيانات الصينية إلى الإنجليزية، ثم ترجمة النسخة الإنجليزية إلى العربية. ونظراً لكون المخاطر التي تطرحها النماذج اللغوية الكبيرة بالنسبة إلى المتحدثين بالعربية مختلفة عن تلك المتعلقة بالمتحدثين بالصينية، أضاف الفريق عناصر جديدة خاصة باللغة العربية وثقافتها.

وفي المجمل، تضم مجموعة البيانات ما يقارب 5,800 سؤال تتضمن أنواعاً مختلفة من التحديات للنماذج اللغوية الكبيرة. كما أضاف الباحثون طلبات غير ضارة تتضمن مصطلحات حساسة، مثل الإشارات الدينية أو السياسية، لاختبار ما إذا كانت النماذج تبدي حساسية مفرطة تجاهها.

بناء مجموعة بيانات مستندة إلى السياق الثقافي

تركز جانب مهم من عمل الفريق على تكييف مجموعة البيانات مع السياق المحلي، أي نقل المفاهيم الثقافية من ثقافة إلى أخرى. وشمل ذلك استبدال الأسماء الصينية والأحداث التاريخية بنظيراتها العربية. كما أضاف الباحثون نحو ثلاثة آلاف سؤال خاص باللغة العربية وثقافتها إلى مجموعة البيانات الصينية “Do Not Answer”.

ورغم أن هذه ليست أول مجموعة بيانات معيارية لاختبار مستوى الأمان في النماذج اللغوية الكبيرة باللغة العربية، فهي على الأرجح أكثر شمولاً من غيرها، كما أنها تراعي تنوع اللهجات والثقافات في الدول العربية.

تغطي الأسئلة الواردة في مجموعة البيانات ستة مجالات تشمل: أضرار المعلومات المضللة، والأضرار الناجمة عن التفاعل بين الإنسان وروبوتات الدردشة، والاستخدامات الضارة، والتمييز والإقصاء والمحتوى السام والمسيء والمحرض على الكراهية، ومخاطر المعلومات، والحساسيات الخاصة بالمنطقة. ويضم مجال الحساسيات الخاصة بالمنطقة أسئلة تتعلق بالحفاظ على الثقافة والقضايا الاجتماعية، والقضايا الإقليمية، والسياسات الاقتصادية والتنمية، والموضوعات السياسية الحساسة، وحقوق الإنسان وحرية التعبير، والأحداث التاريخية المثيرة للجدل.

تقييم النماذج من منظورين

أدخل الباحثون أسئلة مجموعة البيانات إلى خمسة نماذج لغوية كبيرة. وشملت هذه النماذج نموذجين مصممين للغة العربية، أولهما “ايس جي بي تي”، وهو نموذج عربي-صيني-إنجليزي طوره فريق من معهد شنتشن للبحوث وجامعة هونغ كونغ الصينية في شنتشن وجامعة الملك عبدالله، وثانيهما “جيس”، وهو نموذج عربي-إنجليزي طوره فريق من شركة “إنسبشن” وجامعة محمد بن زايد للذكاء الاصطناعي. كما اختبر الباحثون نماذج متعددة اللغات، شملت “LLaMA3” من شركة “ميتا”، و”GPT-4o” من “أوبن أيه آي”، و”Qwen2” من شركة “علي بابا”.

وفي المجمل، جمع الباحثون ما يقارب 30 ألف إجابة من النماذج الخمسة، واستخدموا “GPT-4o” لتقييم هذه الإجابات.

هناك حالات واضحة يمكن فيها اعتبار مخرجات النموذج ضارة، كأن يشجع النموذج المستخدم على إيذاء نفسه أو الآخرين. لكن هناك حالات كثيرة أخرى ليست واضحة بالقدر ذاته، من بينها قضايا مرتبطة بالسياسة. ففي هذه الحالات، قد يعتمد تحديد ما إذا كانت الإجابة ضارة أم لا على منظور المستخدم أو موقعه في المجتمع.

لمعالجة هذا الغموض، اعتمد الفريق ما أطلق عليه اسم “معايير التقييم ثنائية المنظور” لتقييم مجموعة فرعية من الأسئلة. وزود الباحثون نموذج “GPT-4o” بمعايير تفصيلية لتصنيف الإجابات تحدد ما الذي يمكن اعتباره إجابة ضارة أو آمنة من منظورين مختلفين: منظور الحكومة ومنظور المعارضة.

على سبيل المثال، في حالة سؤال يتعلق بالفساد الحكومي في لبنان، طُلب من “GPT-4o”، بصفته الجهة المقيمة، تقييم ما إذا كانت الإجابة تنفي مزاعم الفساد، وهو ما قد يُعد مثيراً للقلق من منظور المعارضة، أو ما إذا كانت الإجابة تستخدم لغة قد تحرض على الاضطرابات، وهو ما قد يُعد مثيراً للقلق من منظور الحكومة. واستخدم النموذج هذه التعليمات لتصنيف إجابات النماذج اللغوية الكبيرة الخمسة على أنها ضارة أو آمنة من كل منظور. ويؤكد الباحثون أن هذا النهج يتيح إجراء تقييم دقيق يراعي خصوصية السياق.

يشير أشرف إلى وجود تباين كبير في وجهات النظر بشأن موضوعات مثل السياسة والاقتصاد، كما أن كثيراً من آراء الناس تتسم بطابع ذاتي.

ما مدى الأمان في النماذج اللغوية الكبيرة باللغة العربية؟

توصل الباحثون إلى أن الأسئلة التي طوروها، إلى جانب أسلوب تقييم الإجابات من منظورين مختلفين، ساعدت في الكشف عن المخاطر المحتملة التي قد تطرحها النماذج اللغوية الكبيرة. ومن بين النماذج التي خضعت للاختبار، جاء “GPT-4o” في المرتبة الأولى من حيث الأمان، مسجلاً نحو 3,500 إجابة ضارة، تلاه نموذج “جيس” بما يقارب 4,000 إجابة ضارة. أما “LLaMA3″، فكان الأقل أماناً، حيث قدّم أكثر من 5,700 إجابة ضارة.

ويؤكد أشرف أنه فوجئ بهذا العدد الكبير من الإجابات الضارة التي قدمتها النماذج، رغم أنه كان بإمكانها ببساطة رفض الإجابة.

إجمالي عدد الإجابات الضارة في خمسة نماذج خضعت للاختبار باستخدام مجموعة بيانات باللغة العربية. وقد أُجري التقييم الآلي لاستجابات النماذج بواسطة “GPT-4o” مع مراعاة منظورَي الحكومة والمعارضة.

نحو ذكاء اصطناعي أكثر توافقاً مع الخصوصيات الثقافية

تؤكد وانغ أن أحد أبرز التحديات التي تواجه تطوير نماذج لغوية كبيرة آمنة ومفيدة لمختلف فئات المستخدمين هو تنوع وجهات النظر لدى الناس وانتمائهم في كثير من الأحيان إلى أكثر من ثقافة واحدة، وتضيف قائلة: “لا يمكننا افتراض أن استخدام أحد الأشخاص للنظام باللغة الصينية يعني بالضرورة أنه ينتمي ثقافياً إلى الثقافة الصينية، أو أن الإجابات ينبغي أن تتوافق مع القيم الصينية”. فمن الممكن أن يستخدم متحدث أصلي بالعربية نموذجاً باللغة الصينية، أو أن يستخدم متحدث أصلي بالصينية نموذجاً باللغة العربية.

أحد الأساليب المحتملة لجعل النماذج أكثر توافقاً مع التنوع اللغوي والثقافي في العالم هو تطوير نماذج أصغر حجماً مخصصة لفئات محددة من المستخدمين. وتعمل وانغ وزملاؤها في جامعة محمد بن زايد للذكاء الاصطناعي في هذا الاتجاه، حيث طوروا نماذج صغيرة للغات مثل الهندية والكازاخية. وترى وانغ أن هذه الأنظمة قد تكون أكثر قدرة على تحقيق المواءمة الثقافية مقارنة بالنماذج اللغوية الكبيرة المتاحة اليوم.

في الوقت الراهن، اتخذت وانغ وأشرف وزملاؤهما خطوة مهمة نحو تعزيز الأمان في النماذج اللغوية باللغة العربية من خلال تطوير مجموعة بيانات يمكن أن تساعد المطورين على بناء أدوات أكثر أماناً ووعياً بالخصوصيات الثقافية لأكثر من 400 مليون ناطق بالعربية حول العالم.