طوّر باحثون في معهد ماساتشوستس للتكنولوجيا، بنيةً تعبيريةً تُحسّن من تتبع الحالة والاستدلال التسلسلي في نماذج اللغة الكبيرة (LLMs) عند التعامل مع النصوص الطويلة.

تعاني آلية الانتباه المتطورة الحالية داخل المحولات، وهي البنية الأساسية المستخدمة في نماذج اللغة الكبيرة (LLMs) لتحديد أهمية الكلمات، من قيود نظرية وتجريبية عندما يتعلق الأمر بهذه القدرات..

وقد أسفر بحثٌ بقيادة معهد ماساتشوستس للتكنولوجيا ومختبر الذكاء الاصطناعي التابع له وشركة آي بي إم واتسون عن تطوير تقنية ترميز تُعرف باسم (PaTH Attention)، تجعل المعلومات الموضعية قابلةً للتكيف ومدركةً للسياق بدلاً من كونها ثابتة.

يقول المؤلف الرئيسي للورقة البحثية، يون كيم، الأستاذ المشارك في قسم الهندسة الكهربائية وعلوم الحاسوب، وعضو مختبر علوم الحاسوب والذكاء الاصطناعي، والباحث في مختبر MIT-IBM Watson للذكاء الاصطناعي "تُمكّن نماذج المحولات من نمذجة العديد من المجالات بدقة وقابلية للتوسع، ولكنها تعاني من القيود المذكورة آنفا فيما يتعلق بتتبع الحالة، وهي فئة من الظواهر التي يُعتقد أنها تُشكّل أساس القدرات المهمة التي نرغب في وجودها في أنظمة الذكاء الاصطناعي لدينا. لذا، فإن السؤال المهم هو: كيف يُمكننا الحفاظ على قابلية التوسع وكفاءة نماذج المحولات، مع تمكين تتبع الحالة؟".

وقد عُرضت ورقة بحثية جديدة حول هذا العمل في وقت سابق من هذا الشهر في مؤتمر أنظمة معالجة المعلومات العصبية (NeurIPS).

مسار الفهم

بدلاً من تعيين دوران ثابت لكل كلمة بناءً على المسافة النسبية بين الرموز، كما في خوارزمية ترميز الموضع الدوراني (RoPE)، تتميز خوارزمية PaTH Attention بالمرونة، حيث تتعامل مع الكلمات الوسيطة كمسار يتكون من تحويلات صغيرة تعتمد على البيانات. كل تحويل، قائم على عملية رياضية، يعمل كمرآة صغيرة تتكيف مع محتوى كل رمز يمر بها. كل خطوة في التسلسل تؤثر على كيفية تفسير النموذج للمعلومات لاحقًا.

يسمح التأثير التراكمي للنظام بنمذجة كيفية تغير المعنى على طول المسار بين الكلمات، وليس فقط المسافة بينها. يُمكّن هذا النهج المحولات من تتبع كيفية تغير الكيانات والعلاقات بمرور الوقت، مما يمنحها إحساسًا بـ "الذاكرة الموضعية". تخيل الأمر كأنك تسير في مسار ما بينما تختبر بيئتك وكيف تؤثر عليك.

اقرأ أيضا... مؤسسات تستخدم.....

لقراءة المقال بالكامل، يرجى الضغط على زر "إقرأ على الموقع الرسمي" أدناه

هذا المحتوى مقدم من صحيفة الاتحاد الإماراتية