تقطير المعرفة وتحويل النماذج اللغوية الكبيرة إلى نماذج صديقة للبيئة

ظهرت النماذج اللغوية الكبيرة على الساحة العالمية مع إطلاق شركة 'أوبن أيه آي' للنموذج التوليدي مسبق التدريب ('جي بي تي') وإطلاق شركة جوجل للنموذج اللغوي للتطبيقات الحوارية، وغيرها من التقنيات. وتعمل هذه النماذج عبر جمع كمية هائلة جداً من البيانات، من كامل شبكة الإنترنت مثلاً، ومن ثم معالجتها باستخدام خوارزميات يعتمد عليها محرّك لصنع القرار يستطيع بالتالي تشغيل الواجهات والإجابة عن الأسئلة وابتكار محتوى عالي الجودة وغيرها الكثير من المهام.

وها إن هذه الأنظمة القوية تستحوذ على اهتمام الجمهور ومخيلته. غير أن تدريبها واستخدامها قد استهلك بالفعل كميات كبيرة من الكهرباء والمياه والأموال توازي مستوى استهلاك مدينة بأكملها. لذلك يعمل فريق من الباحثين من جامعة محمد بن زايد للذكاء الاصطناعي وجامعة كولومبيا البريطانية وجامعة موناش على الحد بشكلٍ كبير من كميات الكهرباء والمياه والأموال الضرورية لتدريب هذه النماذج واستخدامها، وذلك من خلال ضبط التعليمات وتقطير المعرفة، مع الحفاظ في الوقت نفسه على إمكانيات النماذج اللغوية الكبيرة. بالإضافة إلى ذلك، يسعى هذا الفريق إلى تحسين أمن هذه النماذج إلى حد كبير.

وردت تقارير إخبارية مؤخراً تفيد أن أمن البيانات وخصوصيتها في بعض المؤسسات رفيعة المستوى قد تعرض لخطر بسبب تحميل البيانات إلى نماذج لغوية كبيرة. تعاون الأستاذ المشارك في قسم معالجة اللغات الطبيعية ألهم فكري آجي والأستاذ المشارك الزائر في قسم معالجة اللغات الطبيعية محمد عبد المجيد مع مينغهاو وو وعبد الوحيد وشيو زانغ ضمن فريق واحد لتطوير LaMini-LM، وهي مجموعة من النماذج اللغوية. ويسعى الباحثون إلى استخدام هذه المجموعة في السناريوهات التي تندر فيها الموارد مثل حواسيب المستهلكين والأجهزة المحمولة. وقد يساهم هذا الابتكار في الحد من المخاطر الأمنية بشكلٍ شبه كلي، ما يسمح للمؤسسات بمختلف أحجامها بالاستفادة من قدرات النماذج اللغوية الكبيرة باستخدام شبكة المنزل أو أجهزتهم الشخصية بطريقة فاعلة نسبياً.

ويفسر آجي أن “LaMini-LM هي مجموعة من النماذج اللغوية الصغيرة والفاعلة التي تم تقطيرها من “شات جي بي تي” وتدريبها على مجموعة بيانات واسعة النطاق تشمل 2.58 مليون تعليمة.” ويضيف: “ننظر في نماذج لها بنى وأحجام مختلفة ونجري تقيماً دقيقاً لأدائها وفق مختلف معايير معالجة اللغات الطبيعية والتقييمات البشرية.”

ونجح الفريق في تطوير النماذج اللغوية LaMini من خلال تقطير المعرفة من “شات جي بي تي”، وهي عملية شبيهة بكيفية نقل المعلّم للمعرفة الواسعة التي يمتلكها إلى طلابه. فبادروا بطرح أسئلة على “شات جي بي تي” وتلقوا الإجابات ثم استخدموا هذه الأخيرة لتدريب نماذج LaMini. واستغرق تدريب نماذج LaMini الأصغر حجماً وقتاً أقل بكثير من النماذج المثيلة الأكبر حجماً لكنها سجلت أداءً شبيهاً بهذه الأخيرة. وبحسب الفريق، تستطيع المؤسسات تخصيص النماذج اللغوية LaMini بحسب حالات الاستخدام وبالتالي الحفاظ على أمن البيانات، بدلاً من السماح لموظفيها باستخدام النماذج اللغوية الكبيرة القائمة على السحابة لطرح الأسئلة وتوليد المحتوى.

نشر آجي وآخرون ورقتهم البحثية بعنوان: “النماذج اللغوية LaMini: مجموعة متنوعة من النماذج المقطرة من تعليمات واسعة النطاق.” لمعرفة المزيد حول بيانات الفريق والنماذج التي طورها ونتائج معالجة اللغات الطبيعية والتقييمات البشرية، يمكنكم زيارة الموقع التالي: https://mbzuai-nlp.github.io/LaMini/

وحرص آجي على التأكيد أن هذا الإصدار من LaMini-LM هو النسخة الأولى ولا يزال الفريق يعمل بنشاط على تحسين النموذج. ويشكل نموذج LaMini-LM جزءاً من مبادرة أوسع على مستوى الجامعة تجمع بين شركاء عالميين مختلفين وتسعى إلى خفض انبعاثات الكربون من النماذج اللغوية الكبيرة وتعزيز أمنها وإمكانيتها على التكيف، ويشكل بوت “فيكونا” خير مثال على ذلك.