Аудит битых ссылок: как найти все 404 до пользователей

Почему проверка по sitemap пропускает половину проблем, чем soft 404 опаснее обычной, и как выстроить регулярный аудит ссылок.

Ссылки · Опубликовано: 5 августа 2026 г. · 3 мин чтения · Дмитрий Орлов

Битая ссылка редко приходит одна. Обычно это симптом: переименовали раздел, выкатили редизайн, отключили старый поддомен — и по сайту расползлись десятки мёртвых адресов, о которых никто не знает, пока не приходит письмо от клиента.

Почему одного sitemap.xml мало

Проверка по sitemap находит только те страницы, которые вы сами объявили. Она ничего не знает о:

• ссылках в теле статей на внешние ресурсы, которые уже закрылись;
• кнопках, у которых href собирается в JavaScript;
• ресурсах страницы — картинках, шрифтах, скриптах, отдающих 404;
• ссылках в футере и меню, которые ведут на страницы, исключённые из sitemap.

Полноценный аудит — это обход по графу: берём стартовый URL, извлекаем все <a href>, <img src>, <link> и <script src>, рекурсивно идём вглубь в пределах домена и фиксируем код ответа для каждого адреса.

Soft 404 — самый неприятный случай

Сервер отвечает 200 OK, а на странице написано «Товар не найден». Для пользователя это тупик, для поисковика — валидная страница, которую он честно индексирует. Обнаружить можно по косвенным признакам: подозрительно маленький объём контента, шаблонные фразы, отсутствие H1, редирект на главную с потерей пути.

Что делать с каждым классом ошибок

• 404 — страницы нет. Ставьте 301 на ближайший релевантный адрес либо отдавайте осмысленную страницу ошибки.
• 410 — удалено намеренно. Оставьте как есть и уберите входящие ссылки.
• 500 — ошибка приложения. Заводите баг, а не редирект.
• 403 — закрыто правами. Проверьте, не должно ли быть публичным.
• Таймаут — медленный внешний ресурс. Уберите из критического пути или закэшируйте.

Отдельная категория — цепочки редиректов. Три последовательных 301 работают, но съедают до полусекунды на медленной сети и размывают вес ссылок. Схлопывайте цепочки до одного перехода.

Регулярность важнее полноты

Разовый аудит на 10 000 страниц даёт красивый отчёт, который устаревает за месяц. Практичнее так:

1. Полный обход раз в неделю по расписанию.
2. Быстрый обход ключевых шаблонов после каждого релиза.
3. Автоматическая проверка внешних ссылок раз в месяц — они умирают чаще внутренних.
4. Порог в CI: релиз не проходит, если появились новые внутренние 404.

Как не наплодить редиректов

При переносе раздела заведите карту соответствия старых и новых адресов до выкатки, а не после. Один слой 301 на уровне nginx или edge-функции дешевле, чем десять правил, накопленных за годы. И удаляйте старые правила, когда трафик по ним падает до нуля — иначе через два года никто не рискнёт тронуть этот файл.