In robots.txt gesperrtes CSS und JS

Ob robots.txt dem Googlebot erlaubt, das CSS und JavaScript der Seiten zu holen. Google rendert eine Seite, bevor es sie bewertet, und gesperrte Dateien heißen, dass es sie ungestaltet sieht.

• Hilfe

Google bewertet eine Seite nicht anhand des reinen HTML: Es rendert sie wie ein Browser, mit Stylesheets und Skripten, und entscheidet erst dann, was sie enthält und ob sie auf dem Smartphone funktioniert. Verbietet robots.txt dem Googlebot, diese Dateien zu holen, sieht er eine ungestaltete Seite oder eine, deren per JavaScript geladene Inhalte fehlen. Eine für Besucher einwandfreie Website kann so die Prüfung auf Mobilfreundlichkeit nicht bestehen und Inhalte im Index verlieren.

So prüft SiteScan

Beim Crawlen sammelt der Scanner die CSS- und JavaScript-Dateien, die die Seiten laden, und prüft jeden Pfad gegen die robots.txt-Regeln für den Googlebot (seine eigene Gruppe, falls vorhanden, sonst User-agent: *). Grün „Erlaubt“ heißt, keine Datei ist gesperrt; rot „Nicht erlaubt“ nennt die Zahl der gesperrten Dateien. Die Zeile erscheint nur, wenn es eine robots.txt gibt und Ressourcen gefunden wurden.

So beheben Sie es

• Entfernen Sie breite Regeln für Ressourcenordner wie Disallow: /wp-includes/, Disallow: /assets/, Disallow: /static/ oder Disallow: /_next/.
• Muss ein Ordner gesperrt bleiben, geben Sie die Dateien in derselben Gruppe ausdrücklich frei: Allow: /*.css$ und Allow: /*.js$.
• Prüfen Sie danach eine Seite mit der URL-Prüfung in der Google Search Console und sehen Sie sich den gerenderten Screenshot an.

Siehe auch die Zeile robots.txt und robots.txt und Sitemaps.