FlinkTools

Sitemap und robots.txt prüfen

Prüf, ob Suchmaschinen und KI-Crawler deine Seiten finden, und nur die, die du willst.

Von unserem Server in Frankfurt geprüft
Beispiel ausprobieren

Unser Server prüft das von außerhalb deines Netzes. Wir behalten nur, was du als Bericht speicherst.

10 Prüfungen pro Stunde, 30 mit Anmeldung.

Hier erscheinen deine robots.txt mit markierten Fehlern, die gefundenen Sitemaps, die URL-Anzahl und welche KI-Crawler gesperrt sind.

Was es macht

Die Prüfung liest die robots.txt und die Sitemaps, auf die sie verweist, prüft sie gegen die Regeln der Suchmaschinen und testet eine Stichprobe der gelisteten URLs. Sie zeigt auch, welche KI-Crawler deine robots.txt erlaubt oder sperrt.

So funktioniert es

  1. 1Gib deine Website-Adresse ein.
  2. 2Lies die Fehler, jeder mit Zeilennummer.
  3. 3Korrigier die Dateien und prüf erneut.

Häufige Fragen

Was macht die robots.txt?

Sie bittet Crawler, bestimmte Teile deiner Website zu meiden. Es ist eine Bitte, kein Schloss.

Warum braucht eine Sitemap gültige Daten?

Suchmaschinen ignorieren ein lastmod, das sie nicht lesen können, und vertrauen dem Rest der Datei weniger.

Kann ich KI-Crawler sperren?

Leg für den Crawler eine User-agent-Gruppe mit Disallow: / an. Anständige Crawler halten sich daran.

ANZEIGE320 × 100