AI аудит сайта: чек-лист для ИИ-поиска и ассистентов

AI аудит сайта за шесть шагов: доступ ИИ-краулеров в robots.txt, контент без JavaScript, llms.txt, микроразметка, понятные ответы и замеры.

SEO · Опубликовано: 4 октября 2026 г. · 4 мин чтения · Ольга Мирошник

Ответные движки и чат-ассистенты уже приводят на сайты живых посетителей — и всё чаще отвечают, вообще никого не приводя. Станет ли ваш сайт источником, на который они сошлются, зависит от вещей, которые можно проверить. Принципы мы разбирали в статье о том, как ИИ-ассистенты читают сайт, а здесь — рабочий чек-лист. AI аудит сайта занимает полдня, и его стоит повторять раз в квартал.

Шаг 0. Решите, чего вы хотите

Прежде чем трогать robots.txt, разделите два вопроса. Разрешаете ли вы использовать контент для обучения моделей? И хотите ли вы попадать в ответы ИИ-поиска со ссылкой на себя? За это отвечают разные краулеры, и многим сайтам нужно «нет» на первое и «да» на второе. Запишите решение: дальше аудит проверяет, реализовано ли оно на деле.

Шаг 1. Доступ: robots.txt, файрвол, коды ответа

Основные токены user-agent, как их публикуют сами компании:

• OpenAI: GPTBot (обучение), OAI-SearchBot (поиск ChatGPT), ChatGPT-User (загрузка по запросу пользователя).
• Anthropic: ClaudeBot, Claude-SearchBot, Claude-User.
• Perplexity: PerplexityBot, Perplexity-User.
• Google: Google-Extended — это токен для robots.txt, а не отдельный робот; он управляет использованием в моделях Gemini, а AI Overviews подчиняются обычным правилам для Googlebot.
• Прочие: Applebot-Extended, CCBot (Common Crawl — частый источник обучающих данных).

Для русскоязычной аудитории важен и Яндекс: ответы Нейро опираются на поисковую выдачу, так что прежде всего должен быть открыт обычный YandexBot.

Типичная политика «обучение — нет, поиск — да»:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

Затем проверьте, что реальность совпадает с файлом. Режим защиты от ботов в CDN или WAF часто отдаёт этим агентам 403 или страницу-проверку независимо от robots.txt. Проверьте командой curl -I -A "OAI-SearchBot" https://example.com/ и посмотрите на код ответа. Подробнее — в справке про robots.txt.

Шаг 2. Контент без JavaScript

Большинство ИИ-краулеров не выполняют JavaScript. Откройте ключевую страницу с выключенными скриптами или посмотрите исходный HTML: есть ли там заголовок, основной текст, цены и даты? Если страница — пустая оболочка, которую заполняет браузер, ассистент не увидит ничего. Лечится серверным рендерингом или пререндером.

Шаг 3. llms.txt и llms-full.txt

llms.txt — короткая карта сайта в Markdown в корне домена: кто вы, ключевые разделы, ссылки на важные страницы. llms-full.txt — длинная версия, обычно для документации. Это соглашение, а не стандарт, и ни один ассистент не обязан его читать, но сделать его — час работы, а гадать модели придётся меньше.

Шаг 4. Микроразметка и атрибуция

• Разметка Organization с названием, логотипом и sameAs на главной; Article с автором и dateModified в статьях; Product с ценой и наличием в магазине. Подробности — в нашем руководстве по структурированным данным.
• Один адрес на один материал: корректный canonical, чтобы цитата вела на правильный URL.
• Видимый автор, дата публикации и одинаковое название компании везде.

Шаг 5. Ясность текста

Ассистенты цитируют фрагменты. Страницу легко процитировать, когда ответ идёт первым, а пояснение — потом; когда заголовки — это вопросы или простые утверждения, а не слоганы; когда цифры, условия и сроки написаны текстом, а не спрятаны в картинки и аккордеоны. Перечитайте десять главных страниц и спросите себя: можно ли вырвать один абзац, и он останется верным?

Шаг 6. Замеры и повтор

Найдите в логах сервера user-agent из шага 1 и их коды ответа — 403 и 5xx исправляйте первыми. В аналитике выделите переходы из ИИ-сервисов в отдельный сегмент. Повторяйте AI аудит сайта после каждого крупного релиза: новое правило файрвола или переписанный фронтенд могут молча всё перечеркнуть.

Как провести AI аудит с SiteScan

1. Запустите бесплатную проверку. Отчёт покажет, закрывает ли robots.txt сайт от краулеров и есть ли llms.txt и llms-full.txt.
2. По каждой странице отчёт показывает найденную микроразметку, canonical, title и description — этого хватает для шагов 3 и 4.
3. AEO-анализ входит в более глубокие типы проверки — см. тарифы.
4. Чтобы превратить находки в задачи и попросить ассистента их объяснить, воспользуйтесь нашим руководством по проверке сайта с помощью ИИ.