robots.txt-Generator

Baue eine robots.txt mit Regeln, KI-Crawler-Voreinstellungen und Sitemap und teste einen Pfad dagegen.

Auf deinem Gerät verarbeitet, nie hochgeladen

Regeln

Die ganze Website für alle Crawler sperren

Ordner und Seiten, die draußen bleiben

Eine pro Zeile. * und $ funktionieren wie bei Google.

Ausnahmen, die offen bleiben

Adresse der Sitemap

KI-Crawler

robots.txt

User-agent: *
Disallow:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Diffbot
Disallow: /

Lade sie in den obersten Ordner deiner Website hoch, unter /robots.txt. Regeln sind eine Bitte: Gut erzogene Crawler halten sich daran, andere nicht. Verstecke damit keine privaten Seiten.

Eine robots.txt mit 0 gesperrten Pfaden und 9 gesperrten KI-Crawlern.

Auf deinem Gerät verarbeitet, nie hochgeladen

Pfad testen

Crawler

Pfad

Gesperrt

GPTBot (OpenAI): Modelltraining
ClaudeBot (Anthropic): Modelltraining
Google-Extended (Google): Modelltraining
Applebot-Extended (Apple): Modelltraining
CCBot (Common Crawl): Modelltraining
Bytespider (ByteDance): Modelltraining
Meta-ExternalAgent (Meta): Modelltraining
cohere-ai (Cohere): Modelltraining
Diffbot (Diffbot): Modelltraining

Was es macht

Der Generator schreibt eine robots.txt aus deinen Regeln, kann KI-Crawler wie GPTBot und ClaudeBot sperren, ergänzt deine Sitemap und sagt dir, ob ein Pfad für einen Crawler erlaubt ist.

So funktioniert es

1Pfade eintragen, die draußen bleiben.
2Festlegen, wie KI-Crawler behandelt werden.
3Einen Pfad testen, dann die Datei unter /robots.txt hochladen.

Häufige Fragen

Hält robots.txt Crawler auf?

Sie ist eine Bitte. Gut erzogene Crawler halten sich daran. Private Seiten versteckt sie nicht.

Schadet das Sperren von KI-Crawlern meinem Ranking?

Das Sperren von Training-Crawlern wirkt sich nicht auf die normale Suche aus. Das Sperren eines Such-Crawlers kann deine Reichweite in dieser Suche senken.

Wie wird ein Pfad getestet?

Nach den üblichen Regeln: Die eigene Gruppe des Crawlers gewinnt, die längste passende Regel gewinnt, und Allow gewinnt bei Gleichstand.