تسريع عملية تحسين الشبكات العصبية: مقاربات جديدة ومبتكرة

يعتمد الكثير من تطبيقات الذكاء الاصطناعي اليوم، بدءاً من السيارات ذاتية القيادة ووصولاً إلى النماذج اللغوية الكبيرة، على شبكات عصبية تعالج كميات هائلة من البيانات وتستخلص الأنماط الكامنة فيها. ويمثل التحسين عنصراً رئيسياً في عملية تدريب هذه الأنظمة، حيث يلجأ العلماء إلى طرق لرفع مستوى أداء الشبكة عن طريق تعديل معاملاتها. وتُعد طرق التحسين الفعالة محورية في هذا السياق، لأنها هي التي تحدد مدى كفاءة التدريب ونجاحه، وبالتالي مقدار الفائدة التي يوفرها النظام في نهاية المطاف.

هناك الكثير من الطرق الممكنة للتحسين، ويعتمد اختيار الطريقة المثلى لتحسين شبكة معينة على عدة عوامل، من بينها طبيعة المهمة، وكمية البيانات المتوفرة للتدريب، والموارد المالية والوقت المتاحة؛ لذلك يواصل العلماء ابتكار طرق جديدة لتسريع عملية التحسين وزيادة فعاليتها.

في هذا الإطار، قدم فريق من العلماء من جامعة محمد بن زايد للذكاء الاصطناعي ومؤسسات أخرى طريقة جديدة لتحسين الشبكات العصبية خلال فعاليات المؤتمر السنوي الثامن والثلاثين لنظم معالجة المعلومات العصبية. وتستند الطريقة الجديدة إلى ما يُعرف باسم “طرق الدرجة الثانية” لحل مسائل التحسين المتعلقة بالمتراجحات المتغيرة، وهي شائعة في مجال تعلم الآلة.

يبين الباحثون في دراستهم أنه في حالة فئة المتراجحات الرتيبة التي تتضمن مشتقات غير تامة من الدرجة الثانية، لا يوجد نظرياً أي طريقة من الدرجة الثانية، أو من الدرجة الأولى، أسرع من طريقتهم المقترحة. وقد دعموا هذه النتيجة النظرية بتجارب عملية على مجموعة بيانات تبرز التطبيق العملي لطريقتهم وفعاليتها. وتشير النتائج التي خلص إليها الفريق إلى أن طريقته المبتكرة قد تسهم في خفض تكلفة التحسين، خاصة في الشبكات العصبية الضخمة والمعقدة.

الحاجة إلى التحسين

يؤكد أرتيم أغافونوف، طالب الدكتوراة في قسم تعلم الآلة بجامعة محمد بن زايد للذكاء الاصطناعي وأحد مؤلفي الدراسة، أن مسائل التحسين موجودة في كل مكان وليس فقط في مجال تعلم الآلة، حيث يقول: “حياتنا كلها أشبه بمجموعة من مسائل التحسين. فنحن نسعى دائماً لاتخاذ القرار الصحيح لتحقيق أهدافنا أياً كانت. وهذا بالضبط ما نقوم به مع الشبكات العصبية”.

يتمثل أحد أهداف التحسين في تقليل ما يُسمى “دالة الخسارة”، التي تقيس الفارق بين المخرجات المتوقعة لشبكة معينة والبيانات الفعلية. فهي مؤشر على مدى سوء أداء النظام. ويستخدم العلماء خوارزميات تعتمد على تكرار معاملات الشبكة لتقليل قيمة الدالة إلى أن تتوقف عن التغير بشكل كبير، وهي عملية تُعرف باسم “التقارب”.

تمثل طريقة النزول الاشتقاقي أحد أساليب التحسين الشائعة، وتهدف إلى تقليل دالة الخسارة عن طريق تحديث معاملات الشبكة تدريجياً في الاتجاه الذي يُحدِث أكبر انخفاض في قيمة الخسارة. ويُعتبر النزول الاشتقاقي طريقة من الدرجة الأولى لأنه يعتمد على مشتق من الدرجة الأولى لدالة الخسارة لتحديد اتجاه التخفيض. ورغم أنه أسلوب بسيط وشائع وفعال في بعض الحالات، إلا أنه قد يكون بطيئاً جداً وضعيف الكفاءة في حالات أخرى.

طرق الدرجة الثانية

تُعدّ طرق الدرجة الثانية أسرع عادةً من طرق الدرجة الأولى، مثل النزول الاشتقاقي، لأنها لا تعتمد على مشتق الدالة فحسب، بل تستفيد كذلك من معلومات أخرى، مثل انحناء الدالة، الذي يشير إلى معدل تغيرها. وهذا يتيح للنموذج اتخاذ خطوات أكبر بالاستناد إلى معلومات أكثر لتقليل دالة الخسارة.

ولكن دميتري كامزولوف، الباحث المساعد في جامعة محمد بن زايد للذكاء الاصطناعي وأحد مؤلفي الدراسة، يشير إلى أن طرق الدرجة الثانية قد تكون مكلفة من الناحية الحسابية عند استخدامها في تحسين الشبكات العصبية، نظراً لضخامة عدد المعاملات في تلك الشبكات.

تكمن قوة الطريقة التي طورها أغافونوف وكامزولوف وزملاؤهما وأسموها “المتراجحات المتغيرة في ظل التقريب غير الدقيق للمصفوفة الجاكوبية” في قدرتها على استخدام معلومات الدرجة الثانية دون التكاليف الحسابية الباهظة المرتبطة عادة بذلك. وقد تمكنوا من تحقيق ذلك عبر تقريب مشتقات الدرجة الثانية، ما يجعل العملية قابلة للتنفيذ حسابياً دون التضحية بمستوى الأداء.

يوضح أغافونوف ذلك قائلاً: “وجدنا أنه يمكننا استخدام تقريب رخيص نسبياً لمعلومات الانحناء يسمح بتحقيق سرعة تقارب مماثلة للحساب الدقيق الكامل”.

كما جعل الباحثون طرق الدرجة الثانية أكثر عملية من خلال التحكم في مفهوم يُعرف باسم “عدم الدقة في المصفوفة الجاكوبية”، وهو يشير إلى صعوبة تقدير مشتقات الدالة من الدرجة الثانية. يقول كامزولوف في هذا الصدد: “نخزن هذه المشتقات وننشئ تقريباً غير دقيق للمشتق من الدرجة الثانية. فنحن لا نُهمل المشتقات السابقة، بل نستخلص منها معلومات إضافية تعزز أداء الشبكة”.

يقوم نهج الباحثين في جوهره على طريقة شبيهة بطريقة نيوتن في التقريب تساعد في تقدير مشتقات الدرجة الثانية بشكل تقريبي دون الحاجة لحسابها بدقة كاملة. وتتم هذه العملية عبر استخدام المشتقات السابقة وتحديثها للحصول على تقريب للانحناء، ما يسمح للخوارزمية بتسريع عملية التقارب مع المحافظة على تكلفة حسابية منخفضة.

التأثير العملي والآفاق المستقبلية

يؤكد كامزولوف أن طرق الدرجة الثانية تحظى باهتمام متزايد من العلماء لأن هذا المجال ربما وصل إلى سقف الفوائد التي يمكن أن توفرها طرق الدرجة الأولى، معبراً عن اعتقاده أن النتائج التي خلص إليها فريقه تُظهر الفائدة الهائلة التي يمكن أن نجنيها من معلومات الدرجة الثانية في حالة استخدامها بالطريقة الصحيحة.

ويوضح كامزولوف أن تطوير طرق جديدة وأكثر كفاءة لتحسين أداء الشبكات العصبية سيكون له تأثير في مجالات متنوعة، مثل الاقتصاد والتحكم في الروبوتات والدراسات المناخية، مضيفاً أنه: “اعتاد الباحثون حل هذه المسائل بأساليب بسيطة ولكنها بطيئة، ولدينا الآن فرصة لتسريع تلك الحلول. وحتى التسريع الطفيف يمكن أن يوفر الكثير من تكاليف التدريب”.

وبما أن طرق التحسين الأكثر فعالية قد تُحسن أداء النماذج، فقد يتمكن العلماء من تصميم شبكات أصغر وأكثر كفاءة تقدم أداءً مماثلاً لأداء الشبكات الأكبر حجماً. على سبيل المثال، تقوم النماذج اللغوية الكبيرة متعددة الوسائط المخصصة لتوليد الصور من النصوص على شبكات عصبية ذات طبقات عديدة. ومن شأن طرق التحسين الأكثر كفاءة كالتي طورها أغافونوف وكامزولوف وزملاؤهما أن تقلل من الحاجة إلى عدد كبير من الطبقات في الشبكة، مما يخفض تكلفة تدريب هذه الأنظمة وتشغيلها.

يقول أغافونوف وكامزولوف إنهما يخططان لمواصلة العمل على طرق الدرجة الثانية واستكشاف سبل توظيفها في حل المسائل العملية. ويضيف أغافونوف: “يمكننا محاولة اكتشاف بعض الأفكار الأساسية حول بنية الشبكات العصبية تمكننا من استخدام طرق الدرجة الثانية والتقريبات الجيدة لمعلومات الانحناء في التدريب على حل مسائل التصنيف أيضاً.”