robots.txt-Datei

Die Datei /robots.txt sagt Crawlern, welche Adressen sie holen dürfen und wo die Sitemap liegt. Eine Regel, die die Startseite sperrt, verbirgt die ganze Seite vor der Suche.

• Hilfe

robots.txt ist eine Textdatei im Stammverzeichnis der Website, die seriöse Crawler vor allem anderen lesen. Sie enthält User-agent-Gruppen mit Disallow- und Allow-Regeln sowie Sitemap:-Zeilen, die auf Ihre Sitemaps zeigen. Sie steuert das Crawling, nicht die Indexierung: Eine gesperrte Seite kann trotzdem in den Ergebnissen landen, wenn andere Seiten auf sie verlinken. Um eine Seite aus dem Index zu halten, nutzen Sie noindex.

So prüft SiteScan

Der Scanner holt /robots.txt und wertet die Regeln aus wie Google und Bing: Die längste passende Regel gewinnt, bei gleicher Länge schlägt Allow Disallow.

• Rot, „Sperrt Crawler aus“: Die Regeln für alle Crawler (User-agent: *) sperren die Seite, auf der der Scan begann, meist die Startseite. Die Website ist für die Suche unsichtbar.
• Grün: Die Datei existiert; der Wert ist ihre Größe.
• Gelb, „Fehlt“: keine Datei. Crawler halten dann alles für erlaubt, aber der Ort für den Sitemap-Verweis fehlt.

Ein Serverfehler, eine Ablehnung (401, 403, 429) oder eine HTML-Fehlerseite gilt nicht als fehlende Datei; die Zeile zeigt „Nicht geprüft“.

Ein sicherer Anfang

User-agent: *, ein leeres Disallow: und Sitemap: https://example.com/sitemap.xml, je in eigener Zeile. Ein vergessenes Disallow: / aus der Staging-Umgebung ist die häufigste Ursache für Rot. Mehr unter robots.txt und Sitemaps; siehe auch CSS und JS für Crawler.