Битые URL в карте сайта
Выборка адресов из карты сайта, запрошенная, чтобы проверить, что они ещё отвечают. Карта из битых ссылок тратит краулинговый бюджет впустую.
Карта сайта со страницами, которых больше нет, отправляет краулеры на ошибки. Каждый такой запрос съедает часть краулингового бюджета, которая могла достаться живым страницам, а Search Console помечает карту как содержащую ошибки. Это ещё и верный признак того, что карта строится по устаревшим данным: статичный файл, который никто не перегенерировал, или кэш, переживший редизайн.
Как проверяет SiteScan
Сканер берёт из карты до пяти случайных адресов — вразброс по файлу, а не с начала — и запрашивает каждый. Ответ 400 и выше считается ошибкой, кроме 405 и 501: они значат лишь, что сервер не поддерживает тип запроса. Зелёное «Все доступны» — каждый адрес из выборки ответил; красное — число неудачных, а строки ниже перечисляют их с кодами ответа. Это выборка, поэтому зелёная строка не доказывает, что чист весь файл.
Как исправить
- Удалите из карты удалённые страницы или генерируйте её из CMS вместо статичной копии.
- Для переехавших страниц укажите новый адрес, а со старого поставьте 301-редирект.
- Проверьте весь файл в отчёте «Страницы» Search Console — там видны все URL из карты с ошибками.
См. также статьи о битых ссылках и о soft 404.
Проверьте этот пункт на своём сайте
Запустите бесплатное сканирование: в отчёте будет эта строка для вашего домена вместе с остальными проверками аудита.
Ещё в разделе «Индексация»
Что проверяет SiteScan
TLS-сертификат
- Срок действия SSL/TLS-сертификата
- Устаревшие версии TLS (1.0 и 1.1)
- Цепочка сертификатов TLS
- Издатель TLS-сертификата
- Алгоритм подписи сертификата
Регистрация домена
- Срок регистрации домена
- Зарегистрированное доменное имя
- Регистратор домена
- Дата регистрации домена
- Дата последнего изменения домена
- Статусы домена в реестре (EPP)
- Запрет на перенос домена
- Abuse-контакт регистратора
- Источник данных RDAP и WHOIS
Индексация
- Файл robots.txt
- CSS и JS, закрытые в robots.txt
- XML-карта сайта (sitemap.xml)
- Индекс карт сайта
- Чужие URL в карте сайта
- Даты lastmod в карте сайта
- Битые URL в карте сайта
- RSS- и Atom-лента
Адреса и редиректы
- Редирект с HTTP на HTTPS
- Редирект с www и без www
- Длина цепочки редиректов
- Обработка ошибки 404 и мягкий 404
Заголовки безопасности
- HTTP-заголовки безопасности и оценка
- Заголовок Strict-Transport-Security (HSTS)
- Заголовок Content-Security-Policy (CSP)
- X-Content-Type-Options: nosniff
- X-Frame-Options и защита от кликджекинга
- Заголовок Referrer-Policy
- Заголовок Permissions-Policy
- Список HSTS preload
- CORS и чтение с других origin
- HTTP-метод TRACE
Отдача и репутация
- Заголовок Cache-Control для HTML
- Ревалидация через ETag и Last-Modified
- Поддержка HTTP/3 и QUIC
- Версии ПО в заголовках сервера
- Проверка по DNS-блоклистам (DNSBL)
Внутренние ссылки
Открытые файлы
- Открытые файлы .env, .git и бэкапы
- Листинг директорий на сервере
- Публичные source maps JavaScript
- Открытые точки входа WordPress
Служебные файлы
- Файл security.txt
- Файл llms.txt для ИИ-ассистентов
- Файл llms-full.txt
- Файл ads.txt для рекламы
- Файл humans.txt
- Адрес /.well-known/change-password
DNS и почта
- MX-записи (почтовые серверы)
- Запись SPF
- Запись и политика DMARC
- Подпись зоны DNSSEC
- Запись CAA
- Резервирование DNS-серверов
- Поддержка IPv6 (AAAA-запись)
- Политика MTA-STS
- Запись TLS-RPT для отчётов
- Запись BIMI (логотип в почте)
- Wildcard-запись в DNS
- Висячий CNAME и захват поддомена
Приватность и согласие
- Счётчики аналитики и трекеры
- Баннер согласия на cookie
- Политика конфиденциальности
- Пользовательское соглашение
- Выходные данные (Impressum)
- Заявление о доступности
Core Web Vitals
- Оценка производительности Lighthouse
- Largest Contentful Paint (LCP)
- Cumulative Layout Shift (CLS)
- Interaction to Next Paint (INP)
- Полевые данные CrUX и лабораторные замеры