التفاصيل الصغيرة قد تغيّر كل شيء: هذا ما يركز عليه نظام WaveSSM

لا تكمن أهمية البيانات المتسلسلة دائماً في صورتها الكاملة؛ فقد تحمل لحظة قصيرة أهم ما فيها، مثل نبضة قلب غير طبيعية، أو كلمة داخل تسجيل طويل، أو تغير مفاجئ في إشارة مستمرة. لكن كثيراً من النماذج تختصر هذه البيانات كلها في ملخص واحد، فتضيع الأحداث العابرة وسط بقية المعلومات. وهنا يأتي نموذج WaveSSM، الذي يحافظ على الصورة العامة للبيانات، من دون أن يفقد التفاصيل القصيرة والمهمة داخلها.

تُعد المحولات (Transformers)، وهي البنية التي تقوم عليها النماذج اللغوية الكبيرة، جزءاً من مجموعة أوسع من تقنيات التعلم العميق تُعرف باسم نماذج السلاسل (نماذج تعالج البيانات المرتبة في تسلسل، مثل النصوص أو التسجيلات الصوتية)، ويمكنها تتبع العلاقة بين المعلومات التي تظهر في بداية تسلسل ما وتلك التي ترد في نهايته. ولهذا، فهي فعالة في معالجة النصوص.

لكن كلما طال التسلسل (أي زاد حجم البيانات التي تُعالَج دفعة واحدة)، ازدادت تكلفة تشغيل المحولات بسرعة كبيرة، ما يجعلها أقل كفاءة عند معالجة كميات ضخمة من البيانات المتتابعة، مثل التسجيلات الصوتية الطويلة أو البيانات المستمرة القادمة من المستشعرات.

ولهذا طوّر الباحثون بديلاً يُعرف باسم نماذج فضاء الحالة (SSMs)، يستطيع تتبّع العلاقات بعيدة المدى داخل البيانات المتسلسلة بكفاءة أكبر. وعلى خلاف المحولات، لا تقفز كلفته الحاسوبية بسرعة كبيرة كلما طال التسجيل أو ازدادت البيانات، بل ترتفع تدريجياً بالتناسب مع طولها.

وتُنفّذ هذه النماذج ذلك عبر إنشاء ملخص مستمر للبيانات (الملخص الاجمالي للإشارة) يتجدد عند إضافة كل معلومة جديدة، بحيث يحتفظ بأهم ما ظهر في البيانات حتى تلك اللحظة.

لكن هذه الطريقة لها ثمن أيضاً، فحين يختزل نموذج فضاء الحالة إشارة طويلة في ملخص واحد، يصبح من الصعب عليه الانتباه إلى الأحداث القصيرة التي قد تحمل أهم المعلومات، كما يوضح روبن سولوزابال، الباحث السابق لما بعد الدكتوراه في تعلم الآلة بجامعة محمد بن زايد للذكاء الاصطناعي.

ويقول سولوزابال: “يلخّص نموذج فضاء الحالة التقليدي البيانات على امتدادها الزمني كله، لكنه لا يستطيع التركيز على الأحداث القصيرة التي تقع في أجزاء محددة منها”

وغالباً ما تحمل هذه الأحداث القصيرة أهم المعلومات في البيانات، فعلى سبيل المثال، قد يسجل جهاز لمراقبة القلب ارتفاعاً مفاجئاً وقصير المدة في معدل النبض. لكن عندما يلخّص نموذج فضاء الحالة التسجيل كله في ملخص واحد، قد يختلط هذا التغير ببقية البيانات، فيصعب على النموذج اكتشاف الحالة غير الطبيعية التي تهم الطبيب.

وللتغلب على هذه المشكلة، اقترح سولوزابال، بالتعاون مع باحثين من جامعة محمد بن زايد للذكاء الاصطناعي، ضمن دراسة جديدة، نموذجاً جديداً يمنح نماذج فضاء الحالة القدرة على الاحتفاظ بالصورة العامة للبيانات، مع التركيز في الوقت نفسه على التفاصيل والأحداث المهمة ضمن تلك البيانات.

ويحمل النموذج اسم WaveSSM، ويستخدم أداة رياضية تُعرف باسم المويجات أو الموجات الصغيرة (دوال رياضية تحلل البيانات على فترات قصيرة)، ما يساعده على رصد ما يحدث في أجزاء زمنية محددة والاحتفاظ بكل حدث على حدة، بدلاً من دمج جميع المعلومات في ملخص واحد.

ويشرح سولوزابال: “نستخدم دوال مويجية تعمل لفترات زمنية قصيرة جداً؛ فهي تظهر وتختفي سريعاً، ما يتيح للنموذج التقاط أي حدث عابر والاحتفاظ به في جزء محدد من الذاكرة الداخلية”.

وعُرض هذا العمل خلال المؤتمر الدولي الثالث والأربعين لتعلم الآلة في سيول، وشارك في تأليف الدراسة كل من فيليبور بوجكوفيتش، وهلال القوابع، وكليا زيو، وكنتارو إينوي، ومارتن تاكاش.

آلية عمل WaveSSM

يعتمد WaveSSM على نموذج سابق يُعرف باسم S4، وفي كلا النموذجين تُعالَج البيانات وفق آلية ثابتة لا تتغير من لحظة إلى أخرى، ومع كل جزء جديد من البيانات، يحدّث النموذج تمثيله الداخلي للإشارة، ويكرر هذه العملية باستمرار حتى نهاية التسلسل.

لكن في نموذج مثل S4، تُدمج الأحداث التي تقع في أوقات مختلفة داخل التمثيل نفسه، فتختلط ببعضها، ويصبح من الصعب على النموذج استرجاع أحدها أو التعامل معه بشكل مستقل.

أما WaveSSM، فيتعامل مع كل حدث على حدة، مع احتفاظه في الوقت نفسه بصورة عامة للإشارة بأكملها.

ويقول سولوزابال: “في النماذج الأخرى، تُدمج الإشارة كلها في تمثيل واحد، لذلك يصعب عزل حدث وقع في فترة زمنية محددة أو التعامل معه منفصلاً عن بقية البيانات”.

ويتجنب WaveSSM هذه المشكلة بمنح الأحداث المختلفة إحداثيات خاصة بها، بحيث تصبح المعلومات المخزنة، بحسب وصف الباحثين، قابلة للوصول المباشر، وبذلك يستطيع النموذج العودة إلى أي جزء زمني محدد من البيانات والتعامل معها بصورة مستقلة، من دون أن يؤثر ذلك في بقية المعلومات.

ماذا يستطيع WaveSSM أن يفعل؟

اختبر الباحثون عدة نسخ من WaveSSM، وقارنوا أداءها بأداء نموذج S4 وأحد نماذج المحولات، مع اختلاف النسخ بحسب نوع المويجات المستخدمة.

وفي إحدى التجارب، أنشأ الباحثون إشارة طويلة مليئة بالضوضاء، وأخفوا داخلها عدداً من المقاطع الزمنية القصيرة في أماكن مختلفة. وكانت مهمة النموذج العثور على هذه المقاطع ثم جمعها معاً.

ومقارنةً بنموذج S4، نجح WaveSSM في تقليل نسبة الخطأ في المهمة بنحو مرتبة كاملة.

كما قارن الباحثون أداء النماذج باستخدام بيانات واقعية.

ففي معيار لتخطيط كهربية القلب يحمل اسم PTB-XL، ويضم ما يقارب 22 ألف تسجيل، تصدرت نسخ WaveSSM جميع الفئات التشخيصية تقريباً، وحققت إحدى نسخه أفضل نتيجة إجمالية.

وكانت مكاسب WaveSSM أكبر عندما كانت البيانات السريرية عابرة وقصيرة الأمد، لكنه لم يتصدر في مهمة متعلقة بإيقاع القلب، حيث حقق نموذج آخر يحمل اسم MS-SSM أفضل نتيجة.

وفي مهمة تصنيف الكلمات المفتاحية من الصوت الخام، تفوق WaveSSM على نموذج S4 عند استخدام التسجيلات بدقتها الكاملة.

لكن عندما خُفض معدل أخذ العينات إلى نصف التردد المستخدم في التدريب، ضمن إعداد لم يرَه النموذج من قبل، كان أداء S4 أفضل.

واختبر الباحثون النماذج أيضاً على معيار يُعرف باسم Long Range Arena (مجموعة اختبارات تقيس قدرة النماذج على فهم العلاقات بين معلومات تفصل بينها مسافات طويلة داخل البيانات)، صُمم لتقييم قدرة النماذج على كشف العلاقات بعيدة المدى عبر أنواع مختلفة من البيانات، من بينها الاستدلال الرمزي والصور المحولة إلى سلاسل.

وتفوق WaveSSM على S4 في أربع من أصل ست مهام، لكنه واجه صعوبة في مهمتين تتطلبان التعامل مع علاقات بعيدة المدى جداً، وفشل تماماً في تعلم أطولهما.

وحسب الباحثين، تُظهر هذه النتائج وجود موازنة طبيعية: كلما زادت قدرة WaveSSM على اكتشاف الأحداث العابرة، قلت كفاءتها في معالجة العلاقات التي تحتاج إلى فترات زمنية طويلة جداً.

العودة إلى الأساسيات

يقول سولوزابال إن جانباً كبيراً من الاهتمام الحديث بنماذج فضاء الحالة يعود إلى نموذج يُعرف باسم Mamba (أحد أبرز نماذج فضاء الحالة الحديثة).

وعلى خلاف WaveSSM وS4، يغيّر نموذج Mamba طريقة معالجته للبيانات بحسب نوع المدخلات التي يستقبلها، بدلاً من اتباع الآلية نفسها في كل مرة.

وبفضل هذه الآلية، إلى جانب زيادة حجم Mamba ليضاهي النماذج المتقدمة، أصبح قادراً على التركيز على الأجزاء الأكثر أهمية في البيانات المتسلسلة، لكن بأسلوب يختلف عن WaveSSM والمحولات.

أما في WaveSSM، فقد اختار سولوزابال وزملاؤه الإبقاء على آلية معالجة ثابتة لا تتغير بحسب المدخلات.

وتُظهر النتائج أنهم حققوا دقة أعلى من دون جعل النموذج يغيّر طريقة عمله بحسب المدخلات، وما يتطلبه ذلك من موارد حاسوبية إضافية؛ بل اعتمدوا بدلاً من ذلك على المويجات.

ويرى سولوزابال أن النتائج تؤكد أن تحسين أداء النماذج لا يعتمد دائماً على زيادة حجمها أو تعقيدها، بل إن العودة إلى الأسس النظرية قد تفتح الباب أمام أفكار جديدة تؤدي إلى تحسينات ملموسة.