Файл robots.txt

Файл /robots.txt, который говорит краулерам, какие адреса им можно забирать и где лежит карта сайта. Правило, закрывающее главную, прячет от поиска весь сайт.

• Помощь

robots.txt — текстовый файл в корне сайта, который добросовестные краулеры читают прежде всего остального. В нём группы User-agent с правилами Disallow и Allow и строки Sitemap: со ссылками на карты сайта. Файл управляет обходом, а не индексацией: закрытая страница всё равно может попасть в выдачу, если на неё ссылаются. Чтобы убрать страницу из индекса, нужен noindex.

Как проверяет SiteScan

Сканер забирает /robots.txt и применяет правила так же, как Google и Bing: побеждает самое длинное совпавшее правило, а при равной длине Allow сильнее Disallow.

• Красный, «Закрывает от роботов»: правила для всех краулеров (User-agent: *) запрещают страницу, с которой начат скан, обычно главную. Сайт скрыт от поиска.
• Зелёный: файл есть, в значении — его размер.
• Жёлтый, «Отсутствует»: файла нет. Краулеры тогда считают разрешённым всё, но вы теряете место, где объявляется карта сайта.

Ошибка сервера, отказ (401, 403, 429) или HTML-страница ошибки не считаются отсутствием файла — строка покажет «Не проверялось».

Безопасный минимум

User-agent: *, пустой Disallow: и Sitemap: https://example.com/sitemap.xml, каждое с новой строки. Забытый Disallow: / с тестового сервера — самая частая причина красной строки. Подробнее — в статье про robots.txt и карты сайта; см. также CSS и JS для сканеров.