استخدام تكنولوجيا معالجة اللغة الطبيعية لتفنيد الأكاذيب العلمية

من المعروف أن المعلومات الخاطئة تشكل مخاطر كبيرة. ولذلك تبذل منصات التواصل الاجتماعي والمنظمات الدولية الكبرى، بما في ذلك منظمة الصحة العالمية والأمم المتحدة، جهوداً كبيرة لمحاربتها. وعلى الرغم من ذلك، تبقى المعلومات المضللة مشكلة كبيرة على شبكة الإنترنت.

ويُعدّ تفنيد الأكاذيب المنتشرة على شبكة الإنترنت أمراً صعباً ويستغرق وقتاً طويلاً. فالمعلومات الخاطئة منتشرة بشكل يفوق قدرة مدققي الحقائق من البشر على تبديدها، وما زالت تكنولوجيا التحقق الآلي من الحقائق بحاجة إلى تحسين كبير. كما أن الأكاذيب تنتشر على وسائل التواصل الاجتماعي بسرعة أكبر من سرعة انتشار المعلومات الصحيحة، وهو  أمر معروف منذ سنوات. ولكن على الرغم من هذه التحديات، توفر تكنولوجيا معالجة اللغة الطبيعية أملاً بالحد من تأثير المعلومات الخاطئة.

تحفل شبكة الإنترنت بأنواع كثيرة من المعلومات الخاطئة، ولكن أحد الأساليب الشائعة فيها هو التلاعب بنتائج الدراسات العلمية. وهو أسلوب فعال بشكل خاص لأنه يعتمد على أبحاث متخصصة وموثوقة لدعم زعم كاذب يحتوي في جزء منه على معلومات صحيحة.

في الواقع، يُعدّ تحريف الدراسات العلمية تكتيكاً شائعاً استُخدِم أثناء جائحة كوفيد-19 لنشر الأكاذيب حول أصل الفيروس والعلاجات البديلة وفعالية اللقاحات. ولكن يمكن استخدامه في الكثير من السياقات الأخرى. وتشير إرينا غوريفيتش، الأستاذة المساعدة في قسم معالجة اللغة الطبيعية بجامعة محمد بن زايد للذكاء الاصطناعي، إلى أن تحريف الدراسات العلمية “نوع من المعلومات الخاطئة يتسم بخطورة كبيرة نظراً لصعوبة كشفه على غير الخبراء.  فالتعرف على المغالطات القائمة على العلم المُحرّف أمر صعب بالنسبة لعامة الناس”.

أعدت غوريفيتش وزملاؤها من جامعة محمد بن زايد للذكاء الاصطناعي ومؤسسات أخرى دراسة تمثل خطوة نحو مكافحة المعلومات الخاطئة التي تفسر أدلة البحث العلمي بشكل خاطئ. وقُدِّمت نتائج هذه الدراسة مؤخراً في الاجتماع السنوي الثاني والستين لجمعية اللغويات الحاسوبية، وهو من أكبر الاجتماعات السنوية للباحثين في مجال معالجة اللغة الطبيعية.

أول مجموعة بيانات من نوعها

تستند دراسة غوريفيتش وزملائها إلى مجموعة بيانات تسمى MISSCI وتتكون من أمثلة حقيقية لمعلومات خاطئة جمعها الباحثون من موقع إلكتروني متخصص بالتحقق من صحة المعلومات.

لإنشاء هذه المجموعة من البيانات، كلف الباحثون متخصصين في تسمية البيانات بجمع مقالات التحقق من المعلومات التي كُتبت لموقع إلكتروني اسمه HealthFeedback يتعاون مع علماء لمراجعة المزاعم الصحية والطبية. وقدم الباحثون لهؤلاء المتخصصين ما مجموعه 208 روابط تشير إلى منشورات علمية حُرّفت في مقالات التحقق من صحة المعلومات.

أعاد المتخصصون صياغة الحجج المضللة يدوياً بالاعتماد على مقالات التحقق من المعلومات وفقاً لطريقة حددتها غوريفيتش وفريقها. ثم صنّف المتخصصون الأنواع المختلفة من الأخطاء في الاستدلال، والمعروفة بالمغالطات، إلى تسع فئات مختلفة، من بينها “مغالطة الاستبعاد” و”التكافؤ الكاذب”.

شكّلت هذه المجموعة من البيانات أساساً لتقييم النماذج اللغوية الكبيرة، وهي الأولى من نوعها التي تستخدم أمثلة واقعية لدراسات علمية مُحرفة.

تقييم الأداء

بعد ذلك ركز الباحثون على تقييم قدرات الاستدلال لدى اثنين من النماذج اللغوية الكبيرة، وهما GPT-4 الذي طورته شركة “أوبن أيه آي”، وLLaMA 2 الذي طورته شركة “ميتا”، بهدف استخدام النماذج اللغوية الكبيرة لتوليد مقدمات خاطئة تؤدي إلى مزاعم غير صحيحة وتصنيف هذه المقدمات إلى فئات.

أعطي النموذجان زعماً ومقدمة خاطئة وسياق النشر العلمي، ثم طُلب منهما تصنيف المقدمات الخاطئة المستخدمة ضمن واحدة من الفئات التسع. كما طُلب من النموذجين إنشاء المقدمات الخاطئة.

واختبر الباحثون النموذجين في عدة تكوينات مختلفة، مثل تزويد النموذجين بتعريف المغالطة، ومنطق المغالطة، ومنطق المغالطة بالإضافة إلى مثال عليها.

كان أداء GPT-4 في التنبؤ بفئة المغالطات أفضل من أداء LLaMA 2 بشكل عام، حيث حدد جميع فئات المغالطات تقريباً. وعند إعطاء منطق المغالطة مع مثال عليها، تمكن GPT-4 من التنبؤ بفئة المغالطة الصحيحة استناداً إلى مقدمات مغالطة صحيحة في نسبة 77% من المرات، بينما نجح LLaMA 2 في ذلك بنسبة 66%.

وعندما فحص المقيمون البشريون مخرجات النموذجين، وجدوا أنه حتى لو كان النموذج قادراً على توليد مغالطة معقولة، فقد يصنفها بشكل خاطئ.

طرق أخرى للتحقق

يقوم النهج الحالي للتحقق من المعلومات عبر معالجة اللغات الطبيعية على استخدام ما يعرف بقواعد المعرفة، وهي مستودعات للمعلومات الصحيحة. ويقارن النظام، في هذه الطريقة، المزاعم مع المعلومات الموجودة في قاعدة المعرفة ويتنبأ بمدى صحة تلك المزاعم. ولكن هذا الأسلوب الذي يركز على تفنيد المزاعم باستخدام أدلة مضادة يفشل عندما لا تتوفر أدلة مضادة، وهو أمر ينطبق على معظم المزاعم الكاذبة في الواقع، كما توضح غوريفيتش.

في هذه الدراسة، بدلاً من تفنيد المزاعم، تدحض طريقة غوريفيتش وزملائها الاستدلال بين المصدر العلمي والمزاعم وتستخدم النماذج اللغوية الكبيرة لتحديد المغالطات المطلوبة لإنشاء مزاعم كاذبة بناءً على المصدر.

تحدٍ كبير

التحقق من الحقائق أمر صعب بالنسبة للبشر والآلات على حد سواء. وفي هذا الشأن تقول غوريفيتش: “إن اكتشاف المغالطات أمر صعب على الناس، ما يجعل إجراء التجارب أمراً صعباً. نحن نرى أن النماذج اللغوية الكبيرة لم تصل بعد إلى المرحلة التي تسمح لها بالتعامل بدقة مع هذه الأسئلة المنطقية المعقدة”.

في المستقبل، تعتزم غوريفيتش وزملاؤها تحليل نماذج أخرى وفقاً لنفس الإطار وتطوير أساليب قادرة على التعامل مع الأدلة العلمية الواردة في أكثر من مستند واحد.

ولكن طبيعة المهمة ذاتها، وهي تحديد ما إذا كان الزعم صحيحاً بناءً على الأدلة، غالباً ما تكون موضع نزاع، وهي عملية أساسية في إنتاج المعرفة. وتوضح غوريفيتش ذلك بقولها: “يمثل السؤال بشأن ما إذا كان الدليل يدعم زعماً معيناً جوهر أي علم تجريبي وأحد الأسباب التي دفعت العلماء إلى تطوير أساليب مثل التحكيم العلمي. فهو سؤال يصعب كثيراً الإجابة عليه”.