مولّد robots.txt

اكتب القواعد التي تخبر محركات البحث وزواحف الذكاء الاصطناعي بما يمكنها قراءته.

تمت المعالجة على جهازك، ولم يُرفع شيء

القواعد

حظر الموقع كله على كل الزواحف

مجلدات وصفحات تُمنع

واحد في كل سطر. يعمل * و$ كما في Google.

استثناءات تبقى مفتوحة

عنوان خريطة الموقع

زواحف الذكاء الاصطناعي

robots.txt

User-agent: *
Disallow:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Diffbot
Disallow: /

ارفعه إلى المجلد الأعلى لموقعك على /robots.txt. القواعد طلب: تلتزم به الزواحف الجيدة وقد لا تلتزم غيرها. لا تستخدمه لإخفاء صفحات خاصة.

ملف robots.txt فيه 0 مسارًا محظورًا و9 من زواحف الذكاء الاصطناعي المحظورة.

تمت المعالجة على جهازك، ولم يُرفع شيء

اختبار مسار

الزاحف

المسار

المحظور

GPTBot (OpenAI): تدريب النماذج
ClaudeBot (Anthropic): تدريب النماذج
Google-Extended (Google): تدريب النماذج
Applebot-Extended (Apple): تدريب النماذج
CCBot (Common Crawl): تدريب النماذج
Bytespider (ByteDance): تدريب النماذج
Meta-ExternalAgent (Meta): تدريب النماذج
cohere-ai (Cohere): تدريب النماذج
Diffbot (Diffbot): تدريب النماذج

ما الذي تفعله

يكتب المولّد ملف robots.txt من قواعدك، ويمكنه حظر زواحف الذكاء الاصطناعي مثل GPTBot وClaudeBot، ويضيف خريطة موقعك، ويخبرك إن كان المسار مسموحًا لزاحف ما.

طريقة الاستخدام

1أضف المسارات التي تُمنع.
2اختر كيف تُعامَل زواحف الذكاء الاصطناعي.
3اختبر مسارًا ثم ارفع الملف إلى /robots.txt.

أسئلة

هل يوقف robots.txt الزواحف؟

هو طلب. تلتزم به الزواحف الجيدة. ولا يخفي الصفحات الخاصة.

هل يضر حظر زواحف الذكاء الاصطناعي بترتيبي في البحث؟

حظر زواحف التدريب لا يؤثر في البحث العادي. أما حظر زاحف بحث فقد يقلل وصولك في ذلك البحث.

كيف يُختبر المسار؟

بالقواعد المعتادة: تفوز مجموعة الزاحف نفسه، وتفوز أطول قاعدة مطابقة، ويفوز Allow عند التعادل.