نحو نماذج لغوية شاملة وأكثر فعالية

يعمل الدكتور أَلهَم فكري آجي، الأستاذ المساعد في قسم معالجة اللغة الطبيعية في جامعة محمد بن زايد للذكاء الاصطناعي، على تطوير أنظمة خاصة بمعالجة اللغة الطبيعية تتسم بكفاءتها وقدرتها على التعامل مع مجموعة واسعة من اللغات.

أَلهَم فكري آجي

ويركز الدكتور جهوده البحثية في مجال معالجة اللغة الطبيعية على جانبين متصلين بما يُعرَف بـ 'اللغات منخفضة الموارد'. ويتعلق الجانب الأول من بحثه بتطوير نماذج ذكاء اصطناعي لمعالجة اللغة الطبيعية تتسم بكفاءة استهلاك الطاقة المناسب للاشتغال على الموارد اللغوية المحوسبة القليلة؛ فيما يركز الجانب الثاني من بحث الدكتور على اللغات التي تتوفر على حزم بيانات محدودة مقارنة بالإنجليزية والصينية، اللغتين اللتين شكلتا لمدة طويلة محور اهتمام الباحثين والدارسين المتخصصين في مجال معالجة اللغة الطبيعية.

ويوضح الدكتور، في هذا الصدد، أن 'تمثيل لغات عدة لا يرتقي إلى المستوى المطلوب ضمن اللغات التي توظف تكنولوجيا معالجة اللغة الطبيعية'. ويضيف قائلاً: 'نحن نعمل، بالنسبة لهذه اللغات، على تحسين مستوى تجميع البيانات والأداء ومقارنته لتحديد كيفية تعامل الذكاء الاصطناعي مع هذه اللغات والثقافات والقيم المتصلة بها'. 'ورغم ما يُبذَلُ من جهود – يقول الدكتور – للارتقاء بمستوى تمثيل اللغات منخفضة الموارد، تواجه الباحثين مشكلة افتقار بعض من هذه اللغات للموارد القابلة للحوسبة مما يجعلها غير مؤهلة أو غير مناسبة للاستفادة من قوة تكنولوجيا معالجة اللغات الطبيعية'.

وبهدف سد هذه الفجوة بالنسبة للغات منخفضة الموارد، قام الدكتور ألهم بإعداد ورقة بحثية تقترح تطوير تكنولوجيا لمعالجة اللغة الطبيعية تكون حاجتها للموارد أقل مقارنة بحاجة النماذج اللغوية الكبيرة مثل “شات جي بي تي” من شركة ” أوبن أيه آي”. يشار إلى أن هذه الورقة، سيتم تقديمها خلال فعاليات المؤتمر 18 للفرع الأوروبي لجمعية اللغويات الحاسوبية (EACL) التي ستُعقد يوم 17 مارس في مالطا.

جدير بالذكر أن الدراسة التي ستقدم في مؤتمر EACL، ساهم في إعدادها كل من “مينغهاو وو” من جامعة موناش وجامعة محمد بن زايد للذكاء الاصطناعي؛ وعبدالواحد من جامعة محمد بن زايد للذكاء الاصطناعي؛ وتشيو تشانغ ومحمد عبدالمجيد، وكلاهما من جامعة كولومبيا البريطانية وجامعة محمد بن زايد للذكاء الاصطناعي. يشار، في سياق متصل، إلى أنه يمكن الاطلاع على مجموعة التعليمات البرمجية ومجموعات البيانات الخاصة بالدراسة على موقع .GitHub

تقطير المعرفة

اتبع الدكتور أَلهَم والمؤلفون المشاركون معه في إعداد الورقة البحثية التي ستقدم خلال فعاليات المؤتمر المذكور، نهجاً يسمى بـنهج “تقطير المعرفة” الذي يتم بواسطته نقل المعلومات من نموذج أكبر وأكثر تعقيداً، يسمى “المُعلِّم”، إلى نموذج أصغر وأكثر كفاءة يسمى “الطالب”. الهدف من هذه المقاربة هو تمكين “النموذج الطالب” من تحقيق أداء مشابه “للنموذج المعلم” وبكفاءة أكبر في استخدام الموارد من حيث حيز التخزين، والقدرة الحاسوبية، واستهلاك الطاقة.

لتحقيق هذا الهدف، قام الباحثون بتوجيه “شات جي بي تي” إلى إنشاء ما يسمى ببيانات مجموعة التعليمات الاصطناعية، وهي عبارة عن أسئلة/توجيهات يتم إنشاؤها بواسطة نموذج لغوي يمكن استخدامه أيضا لتوليد الأجوبة عن هذه الأسئلة/التوجيهات. وأوضح أَلهَم أن “بيانات مجموعة التعليمات يمكن أن تطلب من النموذج أن يقترح وصفة لأكلة أو يقترح خطة سفر إلى إسبانيا”، والهدف من هذا التمرين – يقول الدكتور – هو “استكشاف كيفية تقطير المعرفة وتحويلها إلى نماذج لغوية أصغر”.

ولتعزيز تنوع مجموعة التعليمات المُوَلَّدَة، طور الباحثون برنامجاً قادراً على استخلاص المواد المكتوبة بشكل عشوائي من “ويكيبيديا” وقاموا بتغذية “شات جي بي تي” بها وطلبوا منه إنشاء مجموعة التعليمات المتصلة بها. ثم طلبوا من المنصة نفسها تقديم إفادات خاصة بهذه التعليمات. (استخدم الباحثون إصدار ’شات جي بي تي – جي بي تي 3.5 توربو‘ في هذه الدراسة).

مكن هذا التمرين الباحثين من الحصول على مجموعة بيانات – أطلقوا عليها اسم LaMini – تتكون من أكثر من 2.5 مليون مثال، مما يجعلها الأكبر في العالم. ثم قام الباحثون، اعتماداً على عملية تسمى الضبط الدقيق للتعليمات، باستخدام مجموعة بيانات LaMini لمواصلة تدريب عدة نماذج لغوية بأحجام مختلفة. وتهدف هذه التقنية إلى تدريب النموذج على التعليمات المقترنة بالمخرجات المرغوبة، وذلك بغرض تحسين أداء النموذج حتى يتمكن من توليد استجابات أكثر دقة وملاءمة للسياق.

تضمنت قائمة النماذج التي دربها الباحثون إصدارات كل من Meta’s LLaMA، وHugging Face’s T5، و”شات جي بي تي”، وتراوح حجم النماذج بين 61 مليون معامل و7 مليارات معامل. وقد أطلق الباحثون على مجموعة هذه النماذج التي تم ضبطها بالدقة اسم .LaMini-LM

قام الباحثون باختبار أداء مجموعة هذه النماذج مقابل 15 معياراً قياسياً خاص بمعالجة اللغة الطبيعية فضلا عن الاستعانة بأشخاص لتقييم هذه النماذج. وقد أظهرت نماذج مجموعةLaMini-LM  أداءً مشابهاً للنماذج القياسية الأكبر حجماً وكفاءة أكثر من حيث استخدام الموارد. وجدير بالذكر أن نموذج LaMini-LM LLaMA تفوق بشكل كبير على نموذج  LLaMA القياسي.

وجد الباحثون أيضاً أن مجموعة بيانات التعليمات التي طوروها واستخدموها لتدريب النماذج كان لها تأثير كبير على أداء النماذج. كما تمكن الباحثون، علاوة على هذا، من إظهار أن أداء نماذجهم اللغوية الأصغر كان مشابهاً لأداء النماذج اللغوية الكبيرة مثل نموذج Alpaca 7B عندما قام أفراد بتقييم أدائها. وأوضح أَلهَم، في هذا الصدد، أن المخرج الرئيسية للدراسة أظهر أن أداء نماذجهم الأصغر بحوالي عشر مرات من نموذج Alpaca 7B أتى مشابها لأداء هذا النموذج الكبير.

يوضح الشكل أداء نماذج LaMini مقارنة بنماذج لغوية أخرى قام بتقييمها مقيمون أشخاص. الدرجةA  هي الأفضل؛ الدرجة D هي الأسوأ. أداء النموذجين LaMini-Flan-T5-783M وLaMini-T5-738M، الذي يشكل حجمهما عُشر حجم نموذج  Alpaca-7B، كان أداؤهما أفضل في هذا التقييم.

نماذج لغوية عملية

رغم الوتيرة السريعة التي يتطور بها مجال معالجة اللغة الطبيعية، ورغم أن إصدار “شات جي بي تي” الذي استخدمه الباحثون في الدراسة ليس بأحدث نسخة، يوضح أَلهَم أن النهج الأساسي لاستخدام تقنية ضبط التعليمات لتحسين أداء نموذج لغوي ما يزال صالحا، مضيفاً أنه يمكن تحديث النماذج اللغوية الأساسية التي تم استخدامها في الدراسة بإصدارات أحدث.

هل مستقبل نماذج معالجة اللغة الطبيعية هو مع النماذج اللغوية الكبيرة ذات الطابع العام أم مع النماذج اللغوية الصغيرة التي تكون متخصصة في تنفيذ مهام معينة؟ جوابا على هذا السؤال، لا يعتقد الدكتور ألهَم أن هناك مساراً واحداً ستذهب باتجاهه تكنولوجيا النماذج اللغوية. كما أن ليس هناك داعياً لذلك.

ويتابع: “لا يتعلق الأمر دائماً بحجم النموذج، ومن الجيد أن نرى أن هناك أيضاً اهتماما بحثياً يسعى إلى تعزيز مستويات الفعالية حيث سيفكر المهتمون في السبل الكفيلة بتطوير نماذج لغوية عامة وفعالة. كما يمكن تطوير نموذج آخر لأداء مهمة محددة بالفعالية نفسها يغنيك عن الحاجة لبناء نموذج لغوي كبير”.

بشكل عام، يسلط هذا البحث الضوء على التوجه نحو تطوير نماذج لغوية فعالة وقوية. كما يقدم هذا البحث رؤى وأفكار حول قيمة تقطير المعرفة وإمكانية تطوير الذكاء الاصطناعي بشكل أكثر استدامة.