الشرح

حين يقرأ النموذج جملة، لا تتساوى كل كلمة فيها في أهميتها لفهم كلمة بعينها. ففي جملة «سلّم الطالب الورقة للمعلم لأنه انتهى من الحل»، يحتاج النموذج أن يربط الضمير بالطالب لا بالمعلم. وتحسب آلية الانتباه لكل كلمة درجة صلة بباقي الكلمات، ثم تعتمد على الأعلى صلة عند بناء المعنى.

تعمل هذه الآلية في قلب بنية المحوِّل، وبها صارت النماذج اللغوية تتعامل مع النصوص الطويلة وتلتقط العلاقات بين الكلمات البعيدة أفضل من الطرق التي سبقتها. ولها نوع شهير يسمى الانتباه الذاتي، وفيه ينتبه كل جزء من المدخل إلى بقية أجزاء المدخل نفسه. وتزداد كلفة حسابها غالباً مع طول النص، وهذا من أسباب وجود حد لنافذة السياق.

لا تخلطه بـ

نافذة السياق: هي كمية النص التي يستطيع النموذج قراءتها دفعة واحدة، أما الانتباه فهو الطريقة التي يوزّع بها النموذج أهميته على أجزاء هذا النص.

الترجمات المتداولة

رسمي: معتمد من جهة رسمية. شائع: متداول في مصادر عامة. آلية: ترجمة آلية تحتاج مراجعة. قيد التحقق: لم يُتحقق منه بعد.

مصطلحات ذات صلة