CSS и JS, закрытые в robots.txt

Разрешает ли robots.txt роботу Google забирать CSS и JavaScript, которые нужны страницам. Google сначала отрисовывает страницу и только потом оценивает её, и закрытые файлы означают, что он видит её без вёрстки.

• Помощь

Google оценивает страницу не по голому HTML: он отрисовывает её, как браузер, со стилями и скриптами, и только потом решает, что на ней есть и удобна ли она на телефоне. Если robots.txt запрещает Googlebot забирать эти файлы, он видит страницу без вёрстки или без контента, который подгружает JavaScript. Вполне нормальный для посетителей сайт может тогда провалить проверку мобильной версии и потерять часть содержимого в индексе.

Как проверяет SiteScan

Во время обхода сканер собирает CSS- и JS-файлы, которые подключают страницы, и проверяет каждый путь по правилам robots.txt для Googlebot (его собственной группе, если она есть, иначе User-agent: *). Зелёное «Разрешено» — ни один не закрыт; красное «Запрещено» — число заблокированных файлов. Строка появляется, только если robots.txt существует и ресурсы найдены.

Как исправить

• Уберите широкие правила, которые накрывают папки с ресурсами: Disallow: /wp-includes/, Disallow: /assets/, Disallow: /static/ или Disallow: /_next/.
• Если папку нужно оставить закрытой, откройте файлы явно в той же группе: Allow: /*.css$ и Allow: /*.js$.
• Затем проверьте страницу инструментом проверки URL в Google Search Console и посмотрите на отрисованный скриншот.

См. также строку robots.txt и статью про robots.txt и карты сайта.