حل جديد لمشكلة الاتجاه المعاكس في النماذج اللغوية الكبيرة

قبل بضع سنوات، اكتشف باحثو الذكاء الاصطناعي ظاهرة مثيرة للاهتمام، وهي أن ترتيب المعلومات في النص يؤثر على قدرة النماذج اللغوية الكبيرة على الإجابة على الأسئلة المتعلقة بهذه المعلومات بشكل صحيح.

على سبيل المثال، إذا أعطينا النموذج سطراً من كلمات أغنية وطلبنا منه السطر الذي يليه، فمن المحتمل أن يعطينا إجابة صحيحة. أما إذا طلبنا منه السطر الذي قبله، فغالباً ما ستكون إجابته خاطئة. أطلق الباحثون على هذه الظاهرة اسم “مشكلة الاتجاه المعاكس”، وهي من الخصائص الغريبة لتكنولوجيا المُحوِّلات التي تشكل عماد النماذج اللغوية الكبيرة اليوم.

يوضح موناشيسو سامويل نواديكي، الباحث المساعد في جامعة محمد بن زايد للذكاء الاصطناعي، أن المُحوّلات تولّد العناصر اللغوية، أي الكلمات أو أجزاء الكلمات، في اتجاه واحد فقط. بعض اللغات تُكتب من اليسار إلى اليمين كالإنجليزية، وبعضها تُكتب من اليمين إلى اليسار كالعربية. والمُحوِّلات مصممة بحيث تتبع اتجاه أي لغة، لكنها تعمل دائماً في اتجاه واحد. ويضيف قائلاً: “هذا يعني أن أداء النموذج الذي دُرِّب على القراءة وإنتاج النصوص بترتيب معين يتراجع عند تغيير ذلك الترتيب”.

ولكن إذا كانت هذه مشكلة في المُحوِّلات، فكيف تتمكن النماذج اللغوية في معظم الحالات من تذكّر المعلومات جيداً بغض النظر عن موقعها في النص؟ هذا هو السؤال الذي يحاول نواديكي وباحثون آخرون من جامعة محمد بن زايد للذكاء الاصطناعي ومؤسسات أخرى الإجابة عليه في دراسة بحثية جديدة ستُعرض خلال الاجتماع السنوي الثالث والستين لجمعية اللغويات الحاسوبية في فيينا هذا الشهر.

في هذه الدراسة، يحدّد الباحثون خصائص في البيانات المُستخدمة لتدريب النماذج اللغوية الكبيرة يمكن استخدامها للتغلب على مشكلة الاتجاه المعاكس، وقد أطلقوا عليها اسم “الروابط السببية الذاتية المتكررة”. وهي حل فعّال لتحسين أداء هذه النماذج.

شارك في إعداد الدراسة كل من زانغير إكلاسوف، وتولواني أريمو، وتاتسويا هيراوكا، وبنجامين هاينزرلينغ، وفيليبور بوجكوفيتش، وهلال القعبة، ومارتن تاكاش، وكنتارو إينوي.

تحديات الترتيب

يعتمد النموذج اللغوي الكبير للغة الإنجليزية الذي يستخدم بنية المُحوِّل على توليد العناصر اللغوية من اليسار إلى اليمين وفق نهج توليدي تتابعي، بحيث تستند العناصر اللغوية الجديدة إلى ما سبقها. والأمر نفسه ينطبق على الإجابات المُقدمة رداً على التعليمات. فعندما يكتب المستخدم تعليمات للنموذج، يستجيب النموذج بناءً على ما ورد في التعليمات. ويؤكد نواديكي أن “هذه الأنظمة لا تعمل مثل الدماغ البشري الذي يحتفظ بمفاهيم لا تعتمد بالضرورة على ترتيب معين. وهي لا تتعامل مع المعلومات بطريقة إبداعية مثل البشر”.

بينما تُعدّ مشكلة الاتجاه المعاكس مثبتة في النماذج اللغوية الكبيرة، يرى نواديكي وفريقه أنها قد تكون ميزة مفيدة، نظراً لطريقة تنظيم المعلومات في النصوص المستخدمة في تدريب النماذج اللغوية. فالكلمات والعبارات لا تظهر عادةً مرة واحدة فقط، بل غالباً ما تتكرر في مواضع مختلفة من النص.

ومرة أخرى، تقدم الأغاني مثالاً جيداً على ذلك. ففي أغاني البوب المعاصرة، يتكرر المقطع الرئيسي ثلاث أو أربع مرات، مع تغييرات طفيفة في كل مرة. وهنا تتكرر عناصر لغوية أو سلسلة من العناصر اللغوية. يُطلق نواديكي وفريقه على هذه العناصر اسم “العناصر اللغوية المتكررة”، ويمكن استخدامها كنوع من الروابط التشعبية التي تساعد النموذج على استرجاع معلومات قد يصعب الوصول إليها بطرق أخرى.

وهذا يعني عملياً أنه كلما تكررت المعلومات في النص، يصبح لدى النموذج عدة مسارات تتيح له الوصول إلى ما يحتاجه منها للإجابة على التعليمات. والعناصر اللغوية المتكررة موجودة في جميع أنواع النصوص وليس في الأغاني فقط.

يطلق الباحثون على تكرار ظهور العناصر أو سلاسل العناصر اسم “الروابط السببية الذاتية المتكررة”، ويقترحون استراتيجية تعليمات مكونة من خطوتين للاستفادة منها في تحسين قدرة النماذج اللغوية على استرجاع المعلومات.

تُجبر هذه الطريقة النموذج على استكشاف جميع المواقع التي تظهر فيها العناصر اللغوية المتكررة، مما يساعده على العثور على معلومات ذات صلة قد لا ينتبه إليها دونها.

استرجاع كافة المعلومات

في هذه الدراسة، يُشبّه الباحثون العناصر اللغوية المتكررة بنظام المراجع في المكتبات. فإذا كان توجيه سؤال إلى نموذج لغوي يشبه طلب إجابة محددة من أمين المكتبة، فإن استخدام تعليمة استرجاع المعلومات يشبه طلب قائمة بجميع الكتب المتعلقة بموضوع معين. وهنا يقول نواديكي: “هذه الطريقة غير مجدية في حالة الإنسان لأنه يحتاج إلى وقت طويل جداً لتفحص كل الكتب، أما في حالة النماذج اللغوية الكبيرة، فهي منطقية تماماً، لأن حصول النماذج على جميع المعلومات ذات الصلة يمكنها من الإجابة بدقة على الأسئلة أو التعليمات”.

يشير تولواني أريمو، طالب الدكتوراه في تعلم الآلة بجامعة محمد بن زايد للذكاء الاصطناعي والمشارك في إعداد الدراسة، إلى أن طريقة الاسترجاع تُتيح للنموذج أن يعود إلى الوراء لمراجعة الأجزاء السابقة من النص، مما يمنح نموذجاً تقليدياً يعمل باتجاه واحد القدرة على تحليل النص في اتجاهين. ويضيف قائلاً: “اكتشفنا أن العناصر اللغوية المتكررة يمكن أن تقدم حلاً لمشكلة الاتجاه المعاكس”، مؤكداً أن هذه الطريقة لا تُستخدم لحل مشكلة الاتجاه المعاكس فحسب، بل يمكن أن تُحسن الأداء العام للنماذج، ويمكن تعميمها للحد من ظاهرة الهلوسة.

تتكون استراتيجية استرجاع المعلومات التي طورها باحثون من جامعة محمد بن زايد للذكاء الاصطناعي ومؤسسات أخرى من خطوتين، ويمكن استخدامها للتغلب على إحدى نقاط الضعف في النماذج اللغوية الكبيرة المعروفة باسم “مشكلة الاتجاه المعاكس”. وهي تُسهم في تحسين أداء النماذج القائمة على نهج التوليد التتابعي في استحضار المعلومات ذات الصلة من النصوص.

يؤكد نواديكي أن استخدام استراتيجية استرجاع المعلومات عند إعطاء الأوامر أدى إلى تحسن ملحوظ في أداء النماذج، مضيفاً: “عندما يكون لدينا سلاسل من العناصر اللغوية المتكررة، يمكننا أن نضمن قدرة النموذج على استرجاع المعلومات ذات الصلة بنسبة 100%. ولكن يجب أن توجد سلاسل من العناصر اللغوية المتكررة، وأن يُطلب من النموذج استرجاع تلك المعلومات”.

ويشير مؤلفو الدراسة إلى أن هناك طرقاً أخرى طورها باحثون آخرون لمعالجة مشكلة الاتجاه المعاكس، من بينها تعزيز البيانات، وتبديل مواضع العناصر اللغوية، وتكرار العناصر اللغوية، وهي تهدف إلى “تعزيز الترابط السببي داخل بيانات التدريب”. ولكنها عمليات يدوية تتطلب موارد كبيرة. أما طريقة استرجاع المعلومات، فهي أكثر كفاءة لأنها تعتمد على الأنماط المتكررة الموجودة أصلاً في البيانات.

من جهته، ركّز زانغير إكلاسوف، طالب الدكتوراه في تعلم الآلة بجامعة محمد بن زايد للذكاء الاصطناعي والمشارك في إعداد الدراسة، على هندسة الأوامر في طريقة استرجاع المعلومات قائلاً: “مشكلة الاتجاه المعاكس ظاهرة حقيقية، ويمكن استخدام طريقتنا لمعالجتها بفعالية”.

تكامل بين البشر والآلات

يشير نواديكي في ختام حديثه إلى أن الفكرة الأساسية في هذه الدراسة البحثية هي تشجيع الباحثين في هذا المجال على فهم أعمق لبنى النماذج وحدود قدراتها، بما يتيح مواءمتها مع الأهداف التي يسعى المستخدمون لتحقيقها عند الاستعانة بها. فالأمر يتمحور حول كيفية التكامل بين قدرات الإنسان وقدرات الآلة. ويضيف قائلاً: “كلما زاد استخدام المجتمع للذكاء الاصطناعي، زادت فرص الاستفادة من هذه التكنولوجيا. نحن محظوظون بالعمل على هذا الموضوع في وقت يحظى فيه باهتمام كبير وتحقق فيه الأبحاث تقدماً سريعاً”.