ملف robots.txt من أصغر الملفات في مدونتك، لكنه من أكثرها تأثيرًا على ظهورك في محركات البحث. سطر واحد خاطئ فيه قد يمنع جوجل من قراءة صفحات مهمة، وقد لا تنتبه لذلك إلا بعد شهور. في هذا المقال نشرح وظيفة الملف، والكود المناسب لمدونات بلوجر، والأخطاء التي يجب أن تتجنبها.
ما هو ملف robots.txt؟
هو ملف نصي موجود على الرابط yourblog.com/robots.txt، تقرأه عناكب البحث قبل أن تبدأ في زحف موقعك. يحدد الملف المسارات المسموح بزحفها والمسارات الممنوعة، ويدلّ العناكب على مكان خريطة الموقع.
نقطة مهمة: الملف يتحكم في الزحف وليس في الأرشفة. الصفحة الممنوعة في robots.txt قد تظهر في نتائج البحث بدون وصف إذا كانت هناك روابط تشير إليها. لمنع صفحة من الظهور نهائيًا استخدم وسم noindex وليس robots.txt.
الكود المناسب لمدونات بلوجر
هذا الكود يناسب أغلب المدونات، فقط استبدل النطاق بنطاق مدونتك:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap-pages.xmlشرح الأسطر
- Mediapartners-Google: عنكبوت أدسنس. تركه بدون منع يسمح له بقراءة كل الصفحات لعرض إعلانات مناسبة للمحتوى.
- Disallow: /search: يمنع زحف صفحات البحث والتصنيفات، لأنها تكرر محتوى المقالات نفسها.
- Allow: /: يسمح بزحف باقي المدونة.
- Sitemap: الخريطة الأولى للمقالات، والثانية للصفحات الثابتة مثل "اتصل بنا".
طريقة إضافة الملف في بلوجر
- افتح لوحة تحكم بلوجر ثم الإعدادات.
- انزل إلى قسم برامج الزحف والفهرسة.
- فعّل خيار تفعيل محتوى ملف robots.txt مخصص.
- اضغط على ملف robots.txt مخصّص، الصق الكود، ثم احفظ.
- افتح رابط
/robots.txtفي مدونتك وتأكد من ظهور الكود الجديد.
أخطاء شائعة تضر بمدونتك
منع صفحات الخصوصية واتصل بنا
بعض الأكواد المنتشرة تمنع صفحات سياسة الخصوصية وإخلاء المسؤولية. هذه الصفحات دليل ثقة للزائر ولمراجعي أدسنس، ولا فائدة من حجبها.
كتابة رابط الخريطة بنطاق مختلف
إذا كانت مدونتك تعمل على www فاكتب رابط الخريطة بـ www أيضًا، وبـ https. الرابط المختلف يسبب تحويلًا لا داعي له.
استخدام Disallow: / بالخطأ
هذا السطر يمنع زحف المدونة كلها. راجع الملف بعد كل تعديل للتأكد من عدم وجوده تحت User-agent: *.
نسخ كود من مدونة أخرى كما هو
الكود المنسوخ يحمل نطاق صاحبه ومساراته. اقرأ كل سطر وافهمه قبل الحفظ.
كيف تتأكد أن الملف يعمل؟
افتح Google Search Console، ثم من الإعدادات اختر تقرير robots.txt. سيعرض لك آخر نسخة قرأها جوجل وأي أخطاء فيها. يمكنك أيضًا استخدام أداة فحص عنوان URL للتأكد من أن مقالًا معينًا مسموح بزحفه.
خاتمة
ملف robots.txt الصحيح بسيط وقصير. امنع صفحات البحث فقط، اترك الباقي مفتوحًا، وأضف روابط خريطة الموقع بالنطاق الصحيح. وإذا كنت تعمل على تجهيز مدونتك للإعلانات فاقرأ أيضًا ما هو Google AdSense وكيفية الربح منه وإضافة رسالة الموافقة على ملفات تعريف الارتباط لمدونات بلوجر.