فحص sitemap وrobots.txt

تأكد أن محركات البحث وزواحف الذكاء الاصطناعي تجد صفحاتك، وتلك التي تريدها فقط.

فحصه خادمنا في فرانكفورت

يظهر هنا ملف robots.txt مع علامات الأخطاء، وخرائط الموقع التي وُجدت، وعدد الروابط، وأي زواحف ذكاء اصطناعي محظورة.

ما الذي تفعله

يقرأ الفحص ملف robots.txt وخرائط الموقع التي يشير إليها، ويتحقق منها وفق قواعد محركات البحث، ويجرّب عينة من الروابط المدرجة. ويُظهر أيضًا أي زواحف ذكاء اصطناعي يسمح بها robots.txt أو يحظرها.

طريقة الاستخدام

1اكتب عنوان موقعك.
2اقرأ الأخطاء، لكل منها رقم سطره.
3أصلح الملفات وأعد الفحص.

أسئلة

ماذا يفعل robots.txt؟

يطلب من الزواحف تجنب أجزاء معينة من موقعك. هو طلب وليس قفلًا.

لماذا تحتاج خريطة الموقع إلى تواريخ صحيحة؟

تتجاهل محركات البحث قيمة lastmod التي لا تستطيع قراءتها، وتثق أقل ببقية الملف.

هل يمكنني حظر زواحف الذكاء الاصطناعي؟

أضف مجموعة User-agent للزاحف مع Disallow: /. الزواحف الملتزمة تحترمها.