Обработка ошибки 404 и мягкий 404

Что сервер отвечает на несуществующий адрес. Должен быть 404: отсутствующая страница с ответом 200 попадает в индекс как настоящая.

• Помощь

Когда запрашивают несуществующую страницу, сервер обязан сообщить об этом кодом 404 (или 410 — «удалено навсегда»). Сама страница ошибки может выглядеть как угодно — дружелюбный текст, поиск, ссылки на главную, — но код ответа должен быть ошибкой. Если отсутствующая страница отвечает 200, это «мягкий 404»: поисковики считают её настоящей, индексируют пустые копии вашей страницы ошибки и тратят бюджет обхода на адреса, которых быть не должно. Мониторинг тоже перестаёт замечать битые ссылки — ведь любой URL «работает».

Как SiteScan это проверяет

Сканер запрашивает случайный путь, которого на сайте заведомо нет, и смотрит на код итогового ответа:

• зелёный: 404 или 410;
• жёлтый «Мягкий 404»: код 2xx, в том числе после редиректа на главную, которая отвечает 200;
• жёлтый с кодом ответа: всё остальное, например 500 или 403 — роботы поймут, что сервер сломан или запрещает доступ, а не что страницы нет.

Как исправить

Пусть маршрут по умолчанию возвращает настоящий 404: в nginx — error_page 404 /404.html;, в одностраничном приложении сервер или фреймворк должны выставлять код для неизвестных маршрутов, а не всегда отдавать index.html с 200. Не перенаправляйте несуществующие адреса на главную. Подробности и пограничные случаи — в статье о мягких 404.