CSS i JS zablokowane w robots.txt

Czy robots.txt pozwala robotowi Google pobrać CSS i JavaScript, których potrzebują strony. Google najpierw renderuje stronę, a dopiero potem ją ocenia, więc zablokowane pliki znaczą, że widzi ją bez stylów.

• Pomoc

Google nie ocenia strony po samym HTML: renderuje ją jak przeglądarka, ze stylami i skryptami, i dopiero wtedy decyduje, co na niej jest i czy działa na telefonie. Jeśli robots.txt zabrania Googlebotowi pobierania tych plików, widzi on stronę bez stylów albo bez treści dociąganej przez JavaScript. Witryna, która dla odwiedzających wygląda dobrze, może wtedy oblać test przyjazności dla urządzeń mobilnych i stracić część treści w indeksie.

Jak sprawdza to SiteScan

Podczas skanowania zbierane są pliki CSS i JavaScript wczytywane przez strony, a każda ścieżka jest sprawdzana z regułami robots.txt obowiązującymi Googlebota (jego własną grupą, jeśli istnieje, a w przeciwnym razie User-agent: *). Zielone „Dozwolone” oznacza, że żaden nie jest zablokowany; czerwone „Zablokowane” podaje liczbę zablokowanych plików. Wiersz pojawia się tylko wtedy, gdy robots.txt istnieje i znaleziono zasoby.

Jak to naprawić

• Usuń szerokie reguły obejmujące katalogi z zasobami, np. Disallow: /wp-includes/, Disallow: /assets/, Disallow: /static/ czy Disallow: /_next/.
• Jeśli katalog musi zostać zamknięty, otwórz pliki wprost w tej samej grupie: Allow: /*.css$ i Allow: /*.js$.
• Następnie sprawdź stronę narzędziem do sprawdzania adresów URL w Google Search Console i obejrzyj wyrenderowany zrzut.

Zobacz też wiersz robots.txt i artykuł o robots.txt i mapach witryny.