robots.txt und sitemap.xml: zwei Dateien entscheiden über den Index

Der Unterschied zwischen Crawl-Sperre und Index-Sperre, warum eine veraltete Sitemap Crawl-Budget verbrennt und der Einzeiler, der einen ganzen Bereich versteckt.

SEO · Veröffentlicht: 6. September 2026 · 4 Min. Lesezeit · Марк Лебедев

Diese beiden Dateien sind die kürzeste Konfiguration Ihrer Website und die bequemste Stelle, dauerhaften Schaden anzurichten. Eine Zeile in der robots.txt kann einen Bereich aus der Suche entfernen, und es sieht nach nichts aus: Die Seiten laden, die Links funktionieren, der Traffic hört einfach auf.

robots.txt tut nicht, was die meisten glauben

Sie steuert das Crawlen, nicht das Indexieren. Eine gesperrte URL kann trotzdem in den Ergebnissen auftauchen — ohne Beschreibung, weil der Crawler sie nie lesen durfte. Lautet das Ziel "diese Seite darf nicht in der Suche erscheinen", ist die robots.txt das falsche Werkzeug: Nehmen Sie <meta name="robots" content="noindex"> — und sorgen Sie dafür, dass die Seite crawlbar bleibt, denn ein Crawler, der sie nicht abrufen kann, sieht das noindex nie.

Genau diese Kombination ist der klassische Fehler:

Disallow: /private/          # in der robots.txt
<meta name="robots" content="noindex">   # auf der Seite

Beide heben sich auf. Die Suchmaschine kann die Seite nicht abrufen und erfährt deshalb nie, dass sie sie entfernen soll.

Was in die robots.txt gehört

Interne Suche, Facetten-Filter-URLs, endlose Kalender, Warenkorb- und Kontopfade — alles, was unendliche Varianten ohne Wert erzeugt. Halten Sie die Datei kurz und konkret. Zwei Regeln: Die spezifischste passende Regel gewinnt, und /assets/ oder /static/ zu sperren kann den Crawler daran hindern, Ihre Seiten überhaupt zu rendern — was ihre Bewertung beeinflusst.

Und verweisen Sie von dort auf Ihre Sitemap:

Sitemap: https://site.com/sitemap.xml

Was in die Sitemap gehört

Nur URLs, die Sie wirklich im Index haben wollen: Status 200, canonical auf sich selbst, nicht in der robots.txt gesperrt, kein noindex. Jede URL, die einen dieser Tests nicht besteht, ist ein verschenkter Hinweis — und einer Sitemap voller verschenkter Hinweise wird weniger geglaubt.

lastmod lohnt sich nur ehrlich gesetzt: Es ändert sich, wenn sich der Inhalt ändert, nicht bei jedem Build. Eine Sitemap, in der jede Seite behauptet, heute geändert worden zu sein, bringt dem Crawler bei, das Feld zu ignorieren. priority und changefreq werden von den großen Suchmaschinen dagegen weitgehend ignoriert; investieren Sie dort keine Zeit.

Über 50.000 URLs oder 50 MB: auf mehrere Dateien hinter einem Sitemap-Index aufteilen. Erzeugen Sie die Sitemap aus derselben Quelle wie Ihre Routen, damit eine gelöschte Seite in beidem gleichzeitig verschwindet.

Wonach zu suchen ist

• URLs in der Sitemap, die weiterleiten, 404 liefern oder in der robots.txt gesperrt sind.
• Seiten, die existieren und in der Navigation verlinkt sind, aber in keiner Sitemap stehen.
• Ein Disallow: /, das aus der Staging-Umgebung stammt und in die Produktion gelangt ist. Diese Zeile kostet eine Website ihre gesamte Sichtbarkeit — und passiert öfter, als irgendwer zugibt.
• Eine Sitemap, die sich seit der letzten CMS-Migration nicht geändert hat.

Von außen prüfen

Entscheidend ist nicht "sieht die Datei richtig aus", sondern "stimmt ihr Inhalt mit der Website überein". Crawlen Sie die Website, nehmen Sie den Linkgraphen, nehmen Sie die Sitemap und vergleichen Sie beide Mengen: Seiten, die der Crawl findet, die Sitemap aber nicht nennt — und URLs aus der Sitemap, die der Crawl nicht erreicht oder die mit etwas anderem als 200 antworten. Die Widersprüche zwischen diesen Listen sind verlässlich die wertvollsten SEO-Befunde, die eine Website zu bieten hat.