توصلت دراسة جديدة إلى أن تزويد النماذج بذاكرة محدودة تشبه بعض خصائص الذاكرة البشرية يمكن أن يحسن قدرتها على تعلم القواعد اللغوية، خصوصاً عندما تتدرب باستخدام كميات محدودة من النصوص.

اختبر الباحثان أبهيشيك ثاما من جامعة أمستردام، وميشا هايلبرون من معهد ماكس بلانك لعلم اللغة النفسي فكرة قديمة في العلوم المعرفية، مفادها أن نسيان التفاصيل الدقيقة للكلمات والجمل قد يساعد الإنسان على التركيز على الأنماط المتكررة واستخلاص القواعد العامة للغة.

تعتمد نماذج اللغة الحديثة عادة على الاحتفاظ بقدر كبير من المعلومات عن الكلمات التي تعالجها داخل السياق. وقد يبدو منطقياً أن تؤدي زيادة المعلومات المتاحة للنموذج إلى تحسين عملية التعلم، لكنّ الباحثِين اختبروا فرضية معاكسة: هل يمكن أن يصبح النموذج أفضل إذا نسي بعض التفاصيل تدريجياً؟

لهذا الغرض، أضاف الفريق آلية بسيطة لتلاشي الذاكرة داخل نماذج لغوية مبنية على بنية «المحوّل» أو (Transformer). وأطلق الباحثون على هذه النماذج اسم «محوّلات الذاكرة العابرة»، لأنها لا تحتفظ بجميع الكلمات السابقة بالمستوى نفسه من الدقة.

مع مرور الكلمات داخل النموذج، تبدأ التفاصيل الأقدم في التلاشي، بينما تبقى الكلمات الأقرب متاحة بصورة أوضح. ويحاكي ذلك، بصورة مبسطة، الطريقة التي لا يحتفظ فيها الإنسان بالنص الحرفي الكامل لكل جملة يسمعها، لكنه يستطيع تذكر معناها وأنماطها الأساسية.

التدريب على كمية لغوية محدودة دُرّبت النماذج باستخدام معيار «BabyLM»، وهو مجموعة بيانات صُممت لتقريب كمية اللغة التي قد يتعرض لها الإنسان خلال مراحل النمو. وسمح ذلك للباحثين بمقارنة النماذج التقليدية مع النماذج ذات الذاكرة المتلاشية في ظروف لا تعتمد على مليارات الكلمات كما يحدث مع الأنظمة التجارية الكبيرة.

وأظهرت الاختبارات أن النماذج المزودة بآلية النسيان حققت أداء أفضل في تعلم اللغة وفي اختبارات تستهدف فهم البنية النحوية. كما استمرت النتائج عبر عمليات تدريب متعددة وانطلاقاً من إعدادات مختلفة للنماذج، ما أعطى مؤشراً على أن التحسن لم يكن نتيجة تجربة واحدة أو اختيار عشوائي محدد.

لكن الفائدة لم تتحقق من خلال النسيان وحده. فقد احتاج النموذج أيضاً إلى ما وصفه الباحثون بـ«الذاكرة الصدوية» القصيرة، التي تحتفظ بآخر ثلاث إلى سبع كلمات بصورة واضحة قبل أن تبدأ المعلومات في.....

لقراءة المقال بالكامل، يرجى الضغط على زر "إقرأ على الموقع الرسمي" أدناه

هذا المحتوى مقدم من صحيفة الشرق الأوسط