نهج جديد يعزز كفاءة التعلم الموحد عبر شبكات الأجهزة الطرفية

طوّر باحثون في جامعة محمد بن زايد للذكاء الاصطناعي نهجاً جديداً للتعلّم الموحد يُسهّل تدريب نماذج تعلّم الآلة عبر شبكات الأجهزة الطرفية محدودة الموارد دون الحاجة إلى مشاركة بيانات المستخدمين.

وتعالج المقاربة الجديدة – تحت اسم “FedFit” – تحدياً قائماً منذ فترة طويلة في مجال التعلم الموحد عبر شبكة من الأجهزة الطرفية، والمتمثل في تحديد الأجزاء التي ينبغي تدريبها من الشبكة العصبية في ظل محدودية قدرات المعالجة لدى الأجهزة المنفردة. ولا تعتمد، في هذا السياق، المقاربة الجديدة على قواعد استدلالية شائعة، بل تستفيد من المعلومات الناتجة مباشرة عن عملية التدريب نفسها لاتخاذ قرارات أكثر منهجية بشأن مُعَامِلات النموذج التي ينبغي الإبقاء عليها أو إزالتها أو إضافتها.

وفي اختبارات أُجريت باستخدام معايير مرجعية في معالجة اللغة الطبيعية والرؤية الحاسوبية، تفوق “FedFit” على أساليب “التدريب الديناميكي المتناثر” الأخرى المتطورة، مع الحفاظ في الوقت نفسه على كفاءة حسابية عالية. وقد عُرضت الدراسة حول “FedFit“ خلال الدورة الثالثة والأربعين من “المؤتمر الدولي للتعلّم الآلي” (ICML) التي عُقدت في سيؤول.

قادت البحث منغ بي، طالبة ماجستير في علوم الحاسوب بجامعة محمد بن زايد للذكاء الاصطناعي، إلى جانب الباحثين المشاركين بما فيهم تشارلز وانغ، وتينغ يو، وستيف ليو من الجامعة نفسها، بالإضافة إلى وهونغ هوانغ وجينلونغ سونغ من جامعة مدينة هونغ كونغ؛ وتشنغ مينغ هو وشي تشن من جامعة ماكغيل.

فهم المشكلة

يمكن استخدام التعلّم الموحد عبر شبكة من الأجهزة الطرفية لتحسين أداء نماذج تعلّم الآلة على أجهزة مختلفة، مع الحفاظ في الوقت نفسه على خصوصية المستخدمين.

ومن الأمثلة التقليدية على هذا النهج ميزة التصحيح التلقائي في نظام التشغيل “أندرويد” التابع لشركة “غوغل”، إذ يتعلم نموذج موجود على كل جهاز أنماط الكتابة الخاصة بالمستخدم، ويشارك على فترات متقطعة تحديثات النموذج – وليس بيانات المستخدم المحددة – مع نموذج مركزي مستضاف على خادم. ويتعلم النموذج المركزي من الأجهزة الطرفية المشاركة، ثم يرسل تحديثاته الخاصة إليها وتستمر هذه العملية في دورة متواصلة.

ويتمثل أحد التحديات المرتبطة بتنفيذ التعلّم الموحد على شبكة من الأجهزة الطرفية في محدودية قدراتها عادةً من حيث قوة المعالجة، ما يجعل تدريب شبكة عصبية كاملة محلياً أمراً غير عملي. ولمعالجة هذه المشكلة، استخدم الباحثون إطاراً يُعرف باسم “التدريب الديناميكي المتناثر”، حيث يتم تحديد مجموعة فرعية من قيم النموذج العددية باعتبارها الأكثر تأثيراً. ويُعاد ضبط هذه البنية المتناثرة بشكل دوري وفق قواعد محددة، انطلاقاً من فكرة أن تعديل القيم والبنية المتناثرة سيؤدي إلى تحسين الأداء مع خفض العبء الحسابي.

لكن من الناحية العملية، لا يحقق “التدريب الديناميكي المتناثر”، بحسب منغ بي، سوى تحسينات هامشية مقارنة بتدريب نموذج متناثر ثابت. كما ترى منغ أن ذلك يشير إلى أن المشكلة قد لا تكمن في مبدأ التناثر نفسه، وإنما في القواعد المستخدمة لتحديث البنية المتناثرة.

وتوصلت منغ بي من خلال أبحاثها إلى أن هذه القواعد غالباً ما تُستمد من إطار آخر يُعرف بـ “تقنية تنقيح النموذج بعد انتهاء التدريب”، حيث يُفترض أن النموذج يكون قريباً من الاستقرار. لكن في “التدريب الموحد الديناميكي المتناثر” تحدث التغييرات البنيوية في مرحلة مبكرة بينما ما يزال النموذج يتغير، كما أن الأجهزة الطرفية المشاركة تستخدم بيانات مختلفة، مما يجعل هذه القواعد غير مناسبة لهذا السياق، وهو الأمر الذي دفع منغ بي وزملاءها إلى تطوير مقاربة “FedFit”.

عندما تتجاوز النماذج القواعد الاستدلالية

بدلاً من الاعتماد على قواعد بسيطة أو تخمينات لتعديل بنية النموذج، يستخدم نظام “FedFit” طريقة أكثر دقة تعتمد على معلومات من عملية التدريب نفسها لتحديد القيم العددية التي يجب تقليلها أو زيادتها.

وتوضح الباحثة منغ بي أن هناك أدوات رياضية متقدمة يمكن أن تساعد في فهم تأثير كل جزء من النموذج، مثل ما يُعرف بمصفوفة هسيان، التي تقيس كيف تتغير دقة النموذج عند تعديل أي جزء منه. وتعطي هذه الطريقة صورة أوضح من القواعد التقليدية، لكنها في الوقت نفسه معقدة جداً ومكلفة من الناحية الحسابية، ما يجعل استخدامها الكامل غير عملي في هذا النوع من الأنظمة.

ويعتمد “FedFit” لهذا السبب على بديل أبسط يُسمى “معلومات فيشر”، والذي تصفه منغ بي بأنه أشبه بـ “خريطة حساسية” توضح مدى تأثر النموذج بكل جزء فيه. يتم استخراج هذه المعلومات أثناء التدريب العادي للنموذج، من خلال تتبع الإشارات والتغيرات التي تحدث داخله، ولا يتم حسابها إلا في مراحل محددة عند تعديل بنية النموذج، مما يقلل من استهلاك الموارد – وتشرح منغ بي الفكرة قائلة: “يمكن تشبيه كل مُعامل في النموذج بمقبض صغير، ومعلومات فيشر تخبرنا إلى أي مدى سيتأثر النموذج إذا قمنا بتحريك هذا المقبض”.

ورغم أن حجم أي مُعامل قد يعطي فكرة عن قيمته، إلا أنه لا يكشف مدى أهميته الحقيقية داخل النموذج؛ فقد يكون هناك معاملان صغيران في الحجم، لكن تأثير كل منهما عند إزالته مختلف تماماً – وتضيف منغ بي: “لذلك لا ينظر ’FedFit‘ إلى حجم المعامل فقط، بل يأخذ أيضاً في الاعتبار اتجاه تحسين النموذج الحالي ومدى حساسيته تجاه هذا المعامل”.

اختبار “FedFit“

اختبر الباحثون “FedFit” مقارنة بسبعة أساليب أخرى في التعلّم الموحد، شملت طرقاً تعتمد على دمج النماذج أو ضغطها أو تنقيحها، وذلك باستخدام مجموعات بيانات معيارية في مجالي الرؤية الحاسوبية ومعالجة اللغة الطبيعية. وقد استخدم الفريق البحثي في اختبارات الصور نموذجين معروفين هما “ResNet-18″و”ShuffleNetV2″، بينما تم استخدام نموذج “GPT-2-32M” في اختبارات اللغة.

وقد أظهرت النتائج أن “FedFit” حقق دقة أعلى وقدرة أفضل على التعامل مع بيانات جديدة مقارنة بالأساليب الأخرى، مع الحفاظ على كفاءة عالية في استخدام الموارد. فعلى سبيل المثال، عند استخدام نموذج “ResNet-18” على مجموعة بيانات “Street View House Numbers” الخاصة بالتعرف على الأرقام في الصور، حقق “FedFit” تحسناً في الدقة بنسبة 7.04% مقارنة بأفضل الأساليب المنافسة، كما خفّض حجم البيانات المتبادلة بين الأجهزة الطرفية والخادم بنسبة 80% مقارنة بالنماذج الكثيفة التي تستخدم جميع المُعَامِلات.

أجرى الفريق البحثي أيضاً اختبارات إضافية لفهم دور كل جزء من النظام، وذلك بحذف بعض المكونات ومقارنة الأداء. وقد أظهرت النتائج أن حذف أي من آليات “فيشر” المسؤولة عن تقليل أو إضافة المُعَاملات يؤدي إلى انخفاض واضح في الأداء. ويشير هذا إلى أن قوة “FedFit” لا تعتمد فقط على استخدام نماذج متناثرة، بل على دقة قراراته في تعديل بنية النموذج.

ومن الناحية العملية، ترى منغ بي أن هذا النهج يجعل التعلّم الموحد أكثر قابلية للتطبيق على الأجهزة الطرفية محدودة الإمكانيات، لأنه يقلل من الحاجة إلى قدرات حوسبة وذاكرة واتصال كبيرة، مع الحفاظ على مستوى عالٍ من الدقة. وتقول: “قد تسمح هذه المقاربة الجديدة بمشاركة عدد أكبر من الأجهزة الطرفية مثل الهواتف والساعات الذكية وأجهزة الاستشعار وحتى المؤسسات الطبية، بما في ذلك تلك التي لا تستطيع تشغيل نماذج ضخمة”.

وتضيف النتائج أيضاً بعداً أوسع، إذ توضح كيف يمكن للأسس النظرية أن توجه تصميم الخوارزميات بشكل أفضل. وتختتم منغ بي قائلة: “من خلال فهم الافتراضات الخفية وراء الطرق التقليدية في تنقيح وتعديل النماذج، وشرح أسباب قصورها، تمكنا من تطوير معايير أكثر دقة تستند مباشرة إلى الهدف من التدريب نفسه”.