ماهو ملف robots.txt ؟
ملف robots.txt هو ملف نصي يتم وضعه على الخادم الخاص بموقع الويب لتوجيه زوار الموقع ومحركات البحث حول الإجراءات المرغوب فيها أو غير المرغوب فيها عند زيارة الموقع. يستخدم ملف robots txt لتوجيه عمليات الزيارة لمحركات البحث وتعديل سلوكها على الموقع.
تحتوي ملفات robots.txt على تعليمات بسيطة يتم توجيهها إلى محركات البحث لتحديد الصفحات التي يجب السماح لها بالاستجابة لعمليات الزيارة والصفحات التي يجب تجاهلها. قد يحتوي الملف على تعليمات تحدد مجلدات معينة يجب ألا يتم الوصول إليها أو صفحات تفاصيل البحث أو روابط معينة.
من الجيد استخدام ملف robots.txt لحماية المحتوى الحساس، مثل المجلدات الإدارية أو الصفحات الشخصية، من الوصول غير المصرح به. يمكن أيضًا استخدامه لتوجيه محركات البحث إلى ملفات معينة مثل ملف sitemap.xml الذي يوفر قائمة بجميع صفحات الموقع.
يجب ملاحظة أن ملف robots txt ليس آلية لحماية المحتوى بشكل قوي أو حظر الوصول إلى صفحات محددة، فهو يعتمد على احترام محركات البحث للتعليمات الموجودة في الملف، وقد يتجاهلها محرك بحث معين أو قد يتم تفسيرها بشكل غير صحيح في بعض الأحيان.
كيفية إنشاء ملف robots.txt لمدونات بلوجر
لإنشاء ملف robots.txt لمدونة Blogger، يمكنك اتباع الخطوات التالية:
- قم بتسجيل الدخول إلى لوحة تحكم Blogger واختر المدونة التي ترغب في إضافة ملف robots.txt لها.
- في قائمة الجانب الأيسر، انقر على “إعدادات”.
- قم بالتمرير إلى الأسفل حتى تجد قسم “برامج الزحف والفهرسة”. انقر على “تفعيل محتوى ملف robots.txt مخصص” بجوار “ملف robots.txt”.
- ستظهر لك صفحة تحرير محتوى ملف robots.txt. يكون المحتوى الافتراضي كالتالي:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.example.com/sitemap.xml- يمكنك تعديل المحتوى حسب احتياجاتك. على سبيل المثال، إذا كنت ترغب في منع فهرسة صفحات البحث في المدونة، فيمكنك إضافة السطر التالي:
Disallow: /searchبعد إجراء التعديلات المطلوبة، انقر على زر “حفظ”.
تم الآن إنشاء ملف robots.txt لمدونتك على Blogger. يرجى ملاحظة أنه قد يستغرق بعض الوقت لمحركات البحث قبول التعديلات ومراعاة توجيهات الملف. قد يكون من المفيد أيضًا التحقق من صحة ملف robots.txt الخاص بك باستخدام أدوات التحقق المتاحة عبر الإنترنت.
طريقة تركيب ملف Robots txt لمدونات بلوجر؟
لتركيب ملف robots.txt على مدونة بلوجر، يمكنك اتباع الخطوات التالية:
- قم بتسجيل الدخول إلى لوحة تحكم مدونتك على بلوجر.
- انتقل إلى “إعدادات” البلوجر.
- في القائمة الجانبية اليسرى، انقر على “مفاتيح الموقع”.
- تحت قسم “ملف robots.txt”، انقر على “تعديل”.
- ستظهر نافذة تحرير المحتوى. هنا يمكنك إدخال قواعد robots txt المطلوبة وفقًا لاحتياجاتك.
- بعد كتابة قواعد robots.txt، انقر على الزر “حفظ التغييرات” لحفظ الملف.
ملاحظة: يجب أن يتم تنسيق محتوى ملف robots.txt بشكل صحيح وفقًا لقواعد بروتوكول بروتوكول نقل النص الموحد (Uniform Resource Identifier – URI). يمكنك العثور على مزيد من المعلومات حول تنسيق واستخدام ملف robots.txt على الموقع الرسمي لمبادرة ملف robots.txt.
تأكد من فحص صحة وفعالية ملف robots.txt الخاص بك باستخدام أدوات فحص robots.txt المتاحة عبر الإنترنت.
هل ملف Robots.txt ضروري؟
ملف robots.txt ليس ضروريًا لجميع المواقع، ولكنه يعتبر أداة مهمة لإدارة تصفح محركات البحث والتحكم في كيفية تفاعلها مع موقعك.
إذا كنت ترغب في منع محركات البحث من فهرسة صفحات معينة في موقعك أو من دليل محدد، أو إذا كنت ترغب في توجيه محركات البحث إلى المحتوى الهام بشكل أفضل، فإن ملف robots.txt يصبح أداة ضرورية.
من خلال إنشاء وتعديل ملف robots txt، يمكنك تحديد التوجيهات لمحركات البحث بشأن الصفحات التي يجب عليها عدم فهرستها، أو الصفحات التي يمكنها الوصول إليها، أو الدلائل التي يجب تجاهلها. يساعد ذلك في تحسين فهرسة الموقع وتوجيه تدفق المرور العضوي الصحيح.
ومع ذلك، يجب أن نلاحظ أن ملف robots.txt ليس ضمانًا بأن محركات البحث ستلتزم بتوجيهاتك بالضبط. بعض محركات البحث قد تتجاهل الملف أو تفسر التوجيهات بشكل مختلف. قد يتجاهل أيضًا بعض محركات البحث الخبيثة أو المكررة الملف تمامًا.