Сканирование сайта онлайн: как сканер читает ваш сайт

Что происходит при сканировании сайта онлайн: как выбираются страницы, зачем нужен браузер, при чём тут robots.txt и почему отчёт может расходиться с браузером.

Инфраструктура · Опубликовано: 9 октября 2026 г. · 5 мин чтения · Анна Ковалёва

Вы вставляете адрес, ждёте минуту и получаете отчёт. Между этими двумя моментами сканер делает десятки HTTP-запросов, открывает безголовый браузер, читает файлы, на которые обычно никто не смотрит, и решает, какие страницы вообще стоит читать. Понимать, как устроено сканирование сайта онлайн изнутри, — не праздное любопытство: это объясняет почти все случаи «а у меня в браузере всё нормально» и показывает, насколько отчёту можно доверять.

Шаг первый: стартовая страница и браузер

Любое сканирование начинается с одного адреса. Сканер запрашивает его, проходит по редиректам до итогового URL и записывает каждый шаг — именно здесь впервые всплывает цепочка вроде http → https → www → /ru/ (подробнее — в разделе про цепочку редиректов).

Затем главная открывается в настоящем безголовом Chromium. Это важно по двум причинам. Во-первых, современные сайты собирают часть контента на JavaScript, и результат видит только браузер. Во-вторых, многие хосты стоят за CDN или WAF, который показывает всем, кто не выполняет скрипты, страницу «проверяем ваш браузер». Браузер даёт этой проверке завершиться. В той же сессии записываются ошибки консоли и упавшие запросы — обычный HTTP-клиент их просто не видит.

Шаг второй: какие страницы читать

Сканер — не поисковик. Он не пытается прочитать весь сайт, он берёт выборку. Кандидаты приходят из ссылок на стартовой странице и из карты сайта, а перед выбором список чистится:

• адреса нормализуются: /page, /page/ и /page?utm_source=x — одна страница, а не три; из параметров остаются только те, что действительно задают отдельную страницу (например, page, category, product);
• ловушки пропускаются: бесконечные календари, пути с повторяющимся сегментом, слишком длинные и глубокие адреса, петли редиректов;
• файлы, которые не являются страницами, — картинки, PDF, архивы — в выборку не попадают.

Из очищенного пула берётся несколько страниц. Бесплатная проверка читает немного, но этого хватает, чтобы поймать проблемы шаблонов: если в шаблоне товара нет canonical, его нет на всех карточках. Повторная проверка сайта под наблюдением читает те же страницы, что и в прошлый раз, поэтому два отчёта честно сравнимы.

Шаг третий: вежливый робот

Сканирование не должно выглядеть как атака. SiteScan представляется одним узнаваемым User-Agent, чтобы сайт мог осознанно его пустить или отказать, делает паузу между запросами к одному хосту, повторяет запрос после 429 и временных 5xx с учётом Retry-After и укладывается в фиксированный бюджет времени. Если сайт отвечает слишком медленно, проверка останавливается на лимите, а отчёт прямо пишет, какие страницы и проверки не успели, — вместо того чтобы молча считать их здоровыми.

Если вместо сайта ответил защитный слой, страница помечается как заблокированная проверка, а не как ваша ошибка. В разделе «Как прошло сканирование» видно User-Agent, темп, повторы и все ответы 403 с разбивкой: WAF или сам сайт.

При чём тут robots.txt

robots.txt адресован поисковым роботам, которые обходят интернет по своему расписанию. Проверка, которую вы сами запускаете для своего сайта, — визит другого рода, и для сканера robots.txt прежде всего объект проверки. Отчёт читает файл и показывает, не закрывает ли он сайт от роботов, не прячет ли от них CSS и JavaScript, указана ли в нём карта сайта и валидна ли она. Забытый после стейджинга Disallow: / — одна из самых дорогих ошибок, и сканер ловит её лучше всего; подробности — в статье про sitemap и robots.txt.

Почему отчёт расходится с браузером

Место и IP. Сканер подключается из дата-центра. Гео-редиректы, региональные CDN и антибот-правила могут относиться к нему иначе, чем к вашему домашнему провайдеру.

Ни cookies, ни логина. Вы видите сайт как постоянный посетитель, который вошёл в аккаунт и принял баннер cookies. Сканер каждый раз — новый анонимный гость.

Кеши. Ваш браузер и CDN могут держать вчерашнюю версию. С другой стороны, готовый отчёт переиспользуется 15 минут, чтобы ссылка, отправленная коллеге, не запускала новый обход; после деплоя нажмите «Пересканировать».

Лаборатория и поле. Скорость главной берётся из Google PageSpeed Insights: лабораторный прогон на эмулированном устройстве и, если трафика достаточно, данные реальных пользователей из Chrome UX Report. LCP 3,1 с в лаборатории и 2,2 с в поле — обе цифры верны; разберитесь, откуда данные, и сверьтесь с порогами Core Web Vitals: LCP ≤ 2,5 с, CLS ≤ 0,1, INP ≤ 200 мс.

Контент после загрузки. То, что подгружается сильно позже или только после клика, может в отчёт не попасть.

Как выжать из сканирования максимум

1. Начинайте с адреса, по которому приходят реальные посетители, лучше — с итогового, после редиректов.
2. Сначала смотрите раздел о том, как прошёл обход: если страницы заблокированы, сперва откройте доступ, потом читайте баллы.
3. Находку на одном шаблоне считайте находкой на всех страницах этого шаблона.
4. После исправления пересканируйте и сравните — не опирайтесь на старый отчёт.

Чтобы попробовать, запустите бесплатную проверку своего сайта; на странице продукта перечислено, что проверяет каждый анализатор, а статья о проверке сайта онлайн показывает, как выглядит результат.