لمحة عن فائدة الضغط الاشتقاقي في أنظمة التدريب الموزّع

Thursday, July 14, 2022

سلّط عدد كبير من الأعمال السابقة الضوء على مختلف المعوقات التي تقف أمام الاتصال في التدريب الموزّع. وتقترح مجموعة واسعة من البحوث الحديثة استخدام طرق الضغط الاشتقاقي بهدف الحد من هذه المعوقات. يسعى الدكتور هونغي وانغ (جامعة كارنيجي ميلون) أولًا في هذه الجلسة إلى تقييم فاعلية طرق الضغط الاشتقاقي ومقارنة قابلية توسعها مع التطبيقات المحسنة للنزول الاشتقاقي العشوائي المتزامن مع بيانات متوازية عبر أكثر من 200 إعداد موزّع واقعي. ويُلاحظ بشكلٍ مفاجئ عبر هذه المقارنة أنّ طرق الضغط الاشتقاقي لا تؤدي إلى نسبة تسريع واعدة إلا في ست حالات من أصل 200 حالة. وينتقل الدكتور وانغ بعد ذلك ليعرض تحقيقنا المعمق، الذي يحاول تحديد الأسباب الجذرية لهذه الظاهرة. ومن ثم ينتقل ليقدم نموذج أداء يمكن استخدامه لتحديد منافع الضغط الاشتقاقي لمختلف إعدادات الأنظمة. وأخيراً يقترح لائحة من الخصائص المرغوب فيها (بالإضافة إلى حالتين خوارزميتين) التي يجب أن تلبيها طرق الضغط الاشتقاقي بهدف تحسين السرعة بشكلٍ كبير في أنظمة التدريب الموزّع.

المتحدث/المتحدثين

يشغل الدكتور هونغي وانغ حالياً منصب زميل في بحوث ما بعد الدكتوراه في قسم تعلم الآلة في جامعة كارنيجي ميلون. وحصل على شهادة الدكتوراه من قسم علوم الحاسوب في جامعة ويسكونسن-ماديسون. وحصل الدكتور وانغ أيضاً على جائزة أفضل ورقة بحثية من شركة بايدو في ورشة العمل حول قابلية التوسع والخصوصية والأمن في مجال التعلم المتحد ضمن مؤتمر نظم معالجة المعلومات العصبية لعام 2020، وعلى جائزة أفضل مرُاجع من المؤتمر الدولي لتعلم الآلة ومؤتمر نظم معالجة المعلومات العصبية، بالإضافة إلى منحة الصين الوطنية (للطلاب الجامعيين) ومنحة هواوي للطلاب الجامعيين، وعدد من منح السفر التي حصل عليها من مؤتمرات رفيعة المستوى في مجال تعلم الآلة. كما شغل منصب عضو في لجنة البرامج في مجموعة الاهتمامات الخاصة حول اكتشاف المعرفة والتنقيب في البيانات لعام 2022، وفي جمعية النهوض بالذكاء الاصطناعي لعامي 2021 و2022، بالإضافة إلى منصب عضو في لجنة تقييم الأعمال الصناعية في المؤتمر حول تعلم الآلة والأنظمة لعام 2022.

أخبار ذات صلة