الشرح

يبدأ الزاحف من قائمة روابط، فيزور كل صفحة ويقرأ محتواها، ثم يتتبع الروابط التي فيها ليصل إلى صفحات جديدة، وهكذا. وبهذه الطريقة تكتشف محركات البحث الصفحات وتفهرسها لتظهر في النتائج. ويستطيع صاحب الموقع توجيه الزواحف بملف تعليمات يضعه في جذر الموقع، فيمنع بعضها من صفحات معينة أو يسمح لها، والتزام الزاحف به اختياري.

ولا تقتصر الزواحف على محركات البحث. فبعض شركات الذكاء الاصطناعي تستخدم زواحف خاصة بها لجمع نصوص من الإنترنت لتدريب النماذج، أو لجلب صفحات حديثة تستند إليها الإجابات، ويمكن لصاحب الموقع أن يقرر ما يسمح به لكل زاحف. وقد تسبب الزواحف الكثيرة ضغطاً على الموقع، ولذلك يُضبط معدل زيارتها.

لا تخلطه بـ

كشط الويب: الزاحف يتنقل بين الصفحات ويكتشفها، أما كشط الويب فيستخرج معلومات محددة من صفحات بعينها، وكثيراً ما يستعين بالزاحف للوصول إليها.

الترجمات المتداولة

رسمي: معتمد من جهة رسمية. شائع: متداول في مصادر عامة. آلية: ترجمة آلية تحتاج مراجعة. قيد التحقق: لم يُتحقق منه بعد.

مصطلحات ذات صلة