الشرح

لا يقرأ النموذج الجملة كلمات كاملة، بل يقسمها أولاً إلى توكنات. الكلمة القصيرة الشائعة تكون غالباً توكناً واحداً، والكلمة الطويلة أو النادرة قد تنقسم إلى عدة توكنات.

فهم التوكنات مهم لسببين. الأول أن تكلفة الاستخدام تُحسب بها في كثير من الخدمات. والثاني أنها تحدد كمية النص التي يتسع لها الطلب الواحد. وقد يحتاج النص العربي إلى توكنات أكثر من الإنجليزي، بحسب النموذج.

مثال

لا تخلطه بـ

الكلمة: التوكن قد يكون كلمة كاملة، وكثيراً ما يكون جزءاً منها. وهو غير «التوكن» بمعناه في البنوك والعملات الرقمية، فالمقصود هنا قطعة من النص.

الترجمات المتداولة

رسمي: معتمد من جهة رسمية. شائع: متداول في مصادر عامة. آلية: ترجمة آلية تحتاج مراجعة. قيد التحقق: لم يُتحقق منه بعد.

مصطلحات ذات صلة