لماذا تعجز جميع النماذج اللغوية عن فهم الثقافة بالطريقة نفسها؟

كيف يمكن أن نعرف ما إذا كان نموذج ذكاء اصطناعي يفهم ثقافة مجتمع ما؟ هل يكفي أن نختبر معرفته بأطباقه الشعبية، أو عملته، أو أعياده؟ أم أن فهم الثقافة يتجاوز حفظ الحقائق المتفرقة إلى إدراك العلاقات التي تربط بينها؟ دراسة جديدة قُدمت خلال المؤتمر الدولي الثالث والأربعين لتعلم الآلة (ICML 2026) تقترح طريقة مختلفة للإجابة عن هذا السؤال، من خلال قياس قدرة النماذج اللغوية على تمثيل البنية العميقة للثقافات، لا مجرد استرجاع معلومات عنها.

لو أردت معرفة حالة شجرة بانيان يمكنك فحص أوراقها، لكن النظر إلى عدد محدود منها لن يخبرك بالكثير، كما أن عدد الأوراق أكبر من أن يُفحص بالكامل، والبديل أمامك هو النظر إلى الجذع والجذور، لأنهما البنية التي تحمل جميع الأوراق.

يرى باحثون أن تقييم قدرة النماذج اللغوية على فهم الثقافة يواجه المعضلة نفسها، فمعظم الاختبارات الحالية تركز على “الأوراق”، فتسأل النموذج عن عملة دولة معينة، أو عن الطعام الشائع في منطقة ما، أو عن حقائق ثقافية منفردة. ورغم أهمية هذه المعلومات، فإن عددها يكاد يكون غير محدود، كما أن النموذج قد يجيب عن مئات منها من دون أن يمتلك فهماً أعمق للعلاقات التي تربط بينها.

تختار الدراسة النظر إلى حالة “الجذع والجذور” فعوضاً من اختبار معرفة النموذج لحقائق ثقافية متفرقة، يحاول الباحثون معرفة ما إذا كان يفهم البنية التي تربط هذه الحقائق ببعضها البعض، فالطبق الوطني، على سبيل المثال، ليس مجرد معلومة مستقلة، بل يُمثل جزءاً من شبكة تربط بين دول تتشارك المكونات، وأساليب الطهي، والعادات الغذائية، مع احتفاظ كل منها بخصوصيتها المحلية. ولهذا قاس الباحثون مدى قدرة ثمانية نماذج لغوية على إعادة إنتاج أنماط التشابه والاختلاف الثقافي الحقيقية عبر 170 دولة وتسعة مجالات ثقافية، من بينها الطعام، والدين، واللغة، والأعياد، والعملات. وأظهرت النتائج أن النماذج الأحدث، التي خضعت لمرحلة الضبط بالتعليمات، كانت أقرب إلى الطريقة التي يصنف بها البشر هذه العلاقات الثقافية مقارنة بالنماذج الأقدم، لكن زيادة حجم النموذج لم تؤدِ بالضرورة إلى تحسين أدائه. كما تبين أن هذا المقياس الجديد يتنبأ بصورة أفضل بقدرة النموذج على مساعدة أشخاص ينتمون إلى ثقافات مختلفة في مهام عملية، مثل اقتراح وصفة طعام مناسبة.

من الحقائق إلى البنية الثقافية

لتحليل ما يشبه “الجذع والجذور”، قدم الباحثون إطاراً جديداً يعتمد على التحليل الطيفي، ينقل تقييم الثقافة من التركيز على الحقائق الجزئية إلى دراسة البنية العامة التي تربطها معتمدين في بناء هذا الإطار على نظرية التوافق الثقافي، وهي إطار معروف في علم الإنسان يُستخدم لاستنتاج المعتقدات المشتركة داخل المجتمعات من خلال أنماط الاتفاق بين الأفراد، كما استندوا إلى مبدأ معروف في الفيزياء، مفاده أن الأنظمة تمتلك خصائص كلية لا يمكن استنتاجها بمجرد دراسة مكوناتها الفردية.

وبعبارة أخرى، يرى الباحثون أنه إذا كانت قواعد البيانات تخزن الحقائق، فإن النماذج اللغوية تضغط هذه الحقائق في صورة بنية معرفية، وهذه البنية هي ما ينبغي اختباره، لا الحقائق المنفردة وحدها.

كيف قاس الباحثون البنية الثقافية؟

طرح الباحثون، في كل واحد من المجالات الثقافية التسعة، السؤال نفسه على النموذج بشأن جميع الدول الـ170، ثم سجلوا توزيع الاحتمالات الذي أعطاه النموذج لجميع الإجابات الممكنة. وبعد جمع هذه التوزيعات، أنشأوا مصفوفة تجاور، وهي تمثيل رياضي يوضح أي الدول يرى النموذج أنها أكثر تشابهاً مع بعضها البعض من الناحية الثقافية.

واعتمد الباحثون بعد ذلك على مؤشرين لوصف شكل هذه الخريطة الثقافية، أولهما هو الرتبة الفعالة، ويقيس عدد الأنماط الثقافية المختلفة التي يميزها النموذج، وهو مؤشر يعكس مستوى التنوع أو التعددية الثقافية التي يدركها، أما الثاني فهو نسبة الفجوة الطيفية، ويقيس درجة التشابه بين الدول؛ إذ ترتفع قيمته عندما تبدو الدول متقاربة جداً، وتنخفض عندما يرى النموذج أن لكل دولة خصائصها المميزة.

وباستخدام هذين المؤشرين، صنف الباحثون جميع المجالات الثقافية إلى أربع فئات رئيسية:

1-  الفئة الأولى: تجمع بين رتبة فعالة منخفضة وفجوة طيفية مرتفعة، ما يعني وجود عدد محدود من الأنماط الثقافية المشتركة على نطاق واسع بين معظم الدول. ويشبه الباحثون هذا النمط بشبكة مترابطة بالكامل، حيث تبدو جميع العقد متشابهة تقريباً. ويعد ترقيم المنازل مثالاً على هذه الفئة، لأن أنماطه متقاربة في كثير من دول العالم.

2-  الفئة الثانية: تتميز برتبة فعالة مرتفعة وفجوة طيفية منخفضة، أي بوجود عدد كبير من الأنماط المختلفة مع تشابه محدود بين الدول، بحيث يبدو كل بلد وكأنه يتبع مساره الخاص. وتمثل العملات الوطنية المثال الأوضح، إذ تمتلك كل دولة نظامها النقدي الخاص مع قدر ضئيل من التشابه مع الدول الأخرى.

3- الفئة الثالثة: تضم المجالات التي تجمع بين رتبة فعالة مرتفعة وفجوة طيفية مرتفعة، حيث توجد أنماط ثقافية عديدة، لكن الدول تتجمع في مجموعات متقاربة فيما بينها. ويشبه الباحثون هذا النمط بما يعرف في علم الشبكات بـ”العالم الصغير”، الذي يجمع بين مركز مترابط وعدة مجموعات محلية. ويُعد الطعام المثال الأبرز، إذ تتشارك دول كثيرة مكونات وأساليب طهي متشابهة، مع احتفاظ كل مجتمع بأطباقه المحلية المميزة.

4- الفئة الرابعة: تتميز برتبة فعالة منخفضة وفجوة طيفية منخفضة، ما يعني وجود عدد محدود من الأنماط الرئيسة، لكنها تتوزع بين مجموعات منفصلة من الدول بدلاً من أن تشكل نمطاً عالمياً واحداً. ويُعد الدين مثالاً على ذلك، فعدد الديانات الكبرى محدود، لكن الدول تنقسم إلى كتل مختلفة تبعاً للدين السائد فيها.

هل ترى النماذج العالم بالطريقة نفسها التي يراها البشر؟

للتأكد من ذلك، استعان الباحثون بـ 80 مشاركاً من 16 منطقة حول العالم، بواقع خمسة مشاركين من كل منطقة، وطلبوا منهم ترتيب المجالات الثقافية التسعة وفقاً لمدى توقعهم لاختلاف الإجابات من دولة إلى أخرى، مقابل أجر بلغ 9 جنيهات إسترلينية في الساعة. وأُجريت الدراسة عبر منصة Prolific بعد مرحلتين تجريبيتين، كما تضمنت أسئلة للتحقق من انتباه المشاركين، واستُبعدت جميع الاستجابات التي أخفق أصحابها في اجتيازها. ورأى المشاركون أن مجالات مثل الأطعمة السريعة وترقيم المنازل تقع عند الطرف الذي تتشابه فيه الدول إلى حد كبير، في حين جاءت الأطباق الوطنية والعملات ضمن المجالات الأكثر ارتباطاً بخصوصية كل دولة.

لكن النماذج اللغوية لم تنظر إلى هذه المجالات بالطريقة نفسها. فقد صنفت جميع النماذج الثمانية الطعام إلى جانب العملات، باعتبارهما مجالين يتميزان بتباين كبير بين الدول ومن دون وجود بنية مشتركة تربط بينهما، وكأن مطبخ كل دولة منفصل تماماً عن مطابخ الدول الأخرى، كما هي الحال بالنسبة لعملتها الوطنية. ويرى الباحثون أن هذه النتيجة تكشف عن طريقة تمثل النماذج الحالية للثقافة، فهي تتعامل مع الأطعمة الوطنية باعتبارها بطاقات تعريف منفصلة مرتبطة بكل دولة، بدلاً من النظر إليها بوصفها جزءاً من شبكة أوسع تتشارك فيها الدول المكونات، وأساليب الطهي، والعادات الغذائية، مع احتفاظ كل منها بخصوصيتها المحلية.

هل يجعل الحجم الأكبر النموذج أكثر فهماً للثقافة؟

عند مقارنة أداء النماذج، جاء Llama-8B في المركز الأول، متقدماً حتى على شقيقه الأكبر Llama-70B. كما حقق نموذجا Gemma-2B وGemma-9B نتائج متقاربة جداً، رغم الفارق الكبير في عدد المعاملات بينهما. ويرى الباحثون أن هذه النتائج تشير إلى وجود مرحلة تشبع، حيث تتوقف النماذج التي خضعت للضبط بالتعليمات عن تحقيق تحسن ملحوظ بعد وصولها إلى نحو ملياري معامل، بحيث لا يؤدي توسيع حجمها إلى تحسين فهمها للبنية الثقافية. في المقابل، جاء GPT-2، الذي يضم 124 مليون معامل ويعد من النماذج الأقدم، في مؤخرة الترتيب، إذ كان يميل باستمرار إلى اعتبار جميع الدول متشابهة ثقافياً، من دون أن يلتقط التنوع الموجود بينها. ويلاحظ الباحثون أن هذا يختلف عن نتائج اختبارات قائمة على الحقائق، مثل MMLU، التي تتحسن فيها النماذج عادة كلما ازداد حجمها، لأن هذه الاختبارات تقيس نوعاً مختلفاً من القدرات.

هل ينعكس ذلك على الاستخدام العملي؟

للإجابة عن هذا السؤال، صمم الباحثون تجربة ثانية تمحورت حول اقتراح وصفات الطعام فأنشأوا مستخدماً افتراضياً يقوده GPT-4o، واستندوا في بنائه إلى بيانات حقيقية جُمعت من عشرة متطوعين حول عاداتهم وتفضيلاتهم المتعلقة بوجبة الإفطار، ثم أجروا حوارات مع ستة نماذج لغوية لعبت دور مساعد يقترح وصفات الطعام. وقيّم الباحثون كل حوار من جانبين: مدى ملاءمة الوصفة المقترحة للشخص، ومدى نجاح النموذج في طرح الأسئلة المناسبة لفهم احتياجاته قبل تقديم الاقتراح. وشملت التجربة 1200 محادثة، وأظهرت النتائج أن نماذج Llama، التي حققت أداءً جيداً في اختبار البنية الثقافية، كانت أيضاً الأفضل في طرح الأسئلة المناسبة وتقديم وصفات أكثر ملاءمة للمستخدمين. أما Gemma، التي حققت نتائج جيدة في الاختبارات التقليدية القائمة على الحقائق، فقد جاءت نتائجها أضعف في هذه المهمة. في المقابل، لم يتحسن أداء Aya-8B إلا عندما طُلب منه صراحة أن يسأل المستخدم عن خلفيته الثقافية قبل تقديم الاقتراح.

كما طلب الباحثون من سبعة من المتطوعين الأصليين تقييم مجموعة من المحادثات دون معرفة النموذج الذي أنتجها، فجاءت أحكامهم متوافقة إلى حد كبير مع نتائج التقييم الآلي. لكنهم لم يبدوا الحماسة نفسها تجاه الوصفات المقترحة. فقد وصفوها بأنها متكررة وسطحية، وتعتمد في الغالب على تعديلات بسيطة لوصفة واحدة، أو على أفكار نمطية لا تعكس تنوع المطابخ والثقافات المختلفة.

ما الذي لم تُجب عنه الدراسة؟

يشير الباحثون إلى أن المجالات الثقافية التسعة التي شملتها الدراسة لا تمثل سوى جزء محدود من الثقافة الإنسانية. كما اقتصرت التجارب على نماذج مفتوحة الأوزان متوسطة الحجم، بلغ أكبرها 70 مليار معامل، ولم تشمل النماذج التجارية المغلقة الأكبر حجماً. كذلك أُجريت جميع التجارب باللغة الإنجليزية، رغم أن الباحثين يرون أن البنى الثقافية التي يقيسها الإطار المقترح ينبغي ألا تعتمد على لغة بعينها. ومع ذلك، فإن إحدى النتائج بقيت ثابتة في جميع النماذج. فلم يتمكن أي منها من تمثيل مجال الطعام بالطريقة التي يفعلها البشر، كما أن زيادة حجم النموذج لم تكن كافية لمعالجة هذه المشكلة.

ويختتم الباحثون الدراسة بسؤال مفتوح أكثر مما يقدمون إجابة نهائية. فإذا كان توسيع بيانات التدريب، وزيادة حجم النماذج، والضبط بالتعليمات، لا يكفي لجعل النموذج يدرك أن مطابخ الدول المجاورة ترتبط ببعضها بعلاقات ثقافية وتاريخية، فما الذي يمكن أن يحقق ذلك؟

يرجح الباحثون أن الحل لا يكمن في المزيد من التدريب بالطريقة نفسها، بل في تطوير نماذج تتعلم المعرفة العلائقية؛ أي نماذج لا تتعامل مع الحقائق الثقافية باعتبارها معلومات منفصلة، بل تفهم أن معنى أي حقيقة لا يكتمل إلا من خلال علاقتها بالثقافات الأخرى.