Есть простой способ узнать, существует ли ваш сайт для AI-поиска: посмотреть на него глазами робота. Не глазами владельца и не глазами дизайнера — глазами программы, которая приходит на сервер, что-то читает и уносит прочитанное с собой. То, что она унесла, и станет материалом для ответа, когда кто-то спросит ассистента про вашу компанию.
Мы в последнее время смотрим на сайты именно так, и опыт отрезвляющий: сайт, который для человека выглядит богатым и живым, для робота нередко оказывается пустырём — оболочка есть, контента нет. Причём владелец об этом не подозревает: в аналитике тихо, визитов не было, жалоб не было. Просто в ответах ассистентов вас нет.
Хорошая новость: базовая проверка занимает 15 минут, не требует доступа к аналитике и делается руками. Дальше — сама проверка: какие роботы приходят, что они читают первыми, где сайт для них чаще всего невидим и что делать, если это ваш случай.
Table Of Contents
Почему это стало отдельной задачей
Ещё недавно вопрос «как нас находят клиенты» целиком сводился к поисковикам: выдача, позиции, контекстная реклама. Сегодня рядом появился другой сценарий: человек не ищет — он спрашивает. Ассистенту, AI-поисковику, чату: «кто делает то-то», «что выбрать для такой-то задачи», «расскажи про компанию N».
Ассистент не листает выдачу глазами. Он отправляет на сайты своего робота-краулера, читает страницы и сам собирает из них ответ. И здесь работает жёсткое правило: ответ собирается только из тех страниц, которые робот смог прочитать. Сайт закрыт, robots.txt запрещает, текст дорисовывается скриптами — робот ушёл с пустыми руками, и вас в ответе не будет. Обычная статистика этого не покажет: визитов-то не было.
Поэтому проверка «что видят на сайте роботы» выделилась в отдельную задачу — короткую, дешёвую и беспощадную к самообману. Ниже — как мы её делаем.
Кто на самом деле заходит на ваш сайт
Гости делятся на две группы. Первая — классические поисковые роботы: Яндекс, Google и другие. К ним все привыкли, для них исторически и писали robots.txt.
Вторая группа — AI-краулеры, роботы ассистентов и AI-поисковиков. Кого стоит знать по именам:
- GPTBot — робот OpenAI;
- ClaudeBot — робот Anthropic;
- PerplexityBot — робот Perplexity;
- Google-Extended — отдельный робот Google для AI-задач.
У каждого краулера своё имя, и именно по имени его можно встретить в логах, разрешить или запретить в robots.txt. Это важнее, чем кажется: «AI-роботы» — не безликая масса, а конкретные гости с конкретными именами. Решения по ним можно принимать по отдельности: кого-то пускать охотно, кого-то — с ограничениями, кого-то — не пускать. Но чтобы решать, нужно сначала хотя бы знать, что они приходят и что у вас видят.
Пять проверок
Сама проверка — пять шагов, по порядку.
Первый — robots.txt. Файл в корне сайта, первое, что читает любой робот: кому можно, куда нельзя. Смотрим главное: не закрыт ли сайт для нужных роботов целиком. Классическая ошибка — однажды закрыли «всё лишнее» от индексации и заодно закрыли контент. Правило лежит годами, никто уже не помнит, зачем оно появилось, а роботы послушно разворачиваются у входа.
Второй — sitemap. Карта сайта в XML; ссылка на неё обычно указывается в robots.txt. Проверяем, что карта вообще есть и что даты в ней свежие. Мёртвая карта — как витрина с выцветшими ценниками: формально всё на месте, доверия не прибавляет.
Третий — llms.txt. Файл-карта содержательного слоя сайта: что здесь есть по существу, где лежат главные материалы, что читать в первую очередь. Для ассистента это разница между «бродить по сайту наугад» и «получить оглавление и идти по нему».
Info
llms.txt — тема отдельной статьи: формат, структура, что туда выносить. Мы разобрали её подробно здесь: наша статья про llms.txt.
Четвёртый — текст без JavaScript. Ключевая проверка. Открываем страницу так, как её видит робот: сырой HTML без исполнения скриптов. Если содержимое отдаётся в HTML — робот его прочитает. Если страницу рисует браузер, робот часто видит пустоту: разметка есть, слов нет. Статический сайт в этом смысле устроен честно: он отдаёт готовый HTML, и контент читается сразу, без всяких условий.
Пятый — структура. Один H1 на страницу, осмысленные подзаголовки, таблицы и списки там, где сравнение или перечисление. Для человека структура — удобство чтения, для робота — скелет документа, по которому он понимает, где главное, а где оформление.
Как проверить руками
Ничего из перечисленного не требует специального софта — хватает curl и grep.
robots.txt, sitemap и llms.txt открываются в браузере напрямую: ваш-сайт.ru/robots.txt, ссылка на карту из robots.txt, ваш-сайт.ru/llms.txt. Смотрим глазами: открыт ли доступ, свежие ли даты, есть ли карта содержимого.
Самая показательная — четвёртая проверка, и у неё простой рецепт. Скачиваем страницу так, как её видит робот, и ищем в HTML заголовки и куски текста:
curl -s https://ваш-сайт.ru/ | grep -i "<h1"
curl -s https://ваш-сайт.ru/ | grep -i "фраза из вашего текста"
Если в браузере заголовок и текст видны, а в выводе команд пусто — значит, содержимое дорисовывается скриптами, и без JavaScript страницы как будто нет.
Второй приём — сравнение «что видит браузер / что видит робот». Откройте страницу как обычно, полюбуйтесь. Потом откройте её исходный код (в браузерах это обычно Ctrl+U) и поищите там собственные тексты. Если тексты есть только в первом варианте — вы уже знаете ответ: робот их не видит.
Мы делаем это сравнение каждый раз, когда берём сайт на проверку, и почти всегда находится что-то, что владелец считал очевидным, а робот не видел вовсе.
Сводная таблица: что смотреть и что считается плохим
| Проверка | Как смотреть | Что значит «плохо» |
|---|---|---|
| robots.txt | Открыть ваш-сайт.ru/robots.txt, найти правила для GPTBot, ClaudeBot, PerplexityBot, Google-Extended и поисковых роботов | Сайт или содержательные разделы закрыты; «всё лишнее» закрыто вместе с контентом |
| Sitemap | Открыть карту по ссылке из robots.txt | Карты нет; даты старые; новые страницы в карту не попадают |
| llms.txt | Открыть ваш-сайт.ru/llms.txt | Файла нет; содержательный слой не описан |
| Текст без JS | curl страницы, поиск заголовков и текста в HTML | В HTML пусто: контент рисует браузер, робот видит пустоту |
| Структура | Заголовки и разметка в исходном HTML | H1 не один; подзаголовков нет; сравнения спрятаны в картинки вместо таблиц и списков |
Что чаще всего ломается
По нашему опыту, типовые места поломок повторяются из сайта в сайт.
- Сайты на тяжёлых конструкторах. Редактор удобный, страницы красивые, но текст в HTML не отдаётся — он появляется только когда браузер выполнит скрипты. Для робота такой сайт — набор пустых оболочек.
- Страницы-одностраничники без текста. Лендинг из баннера, формы и нескольких слоганов. Человеку хватает, роботу нечего читать: ни структуры, ни содержания, ни ответа на вопрос «что это вообще».
- PDF вместо страниц. Презентации и материалы выложены файлами: для человека приемлемо, для робота — ссылка вместо страницы с текстом. Прочитать он её если и сможет, то мимо структуры сайта и без контекста.
- Закрытые разделы без причины. Когда-то закрыли раздел от роботов — и забыли. Правило живёт своей жизнью, роботы его соблюдают, а бизнес теряет раздел из поля зрения AI-поиска.
Warning
Самая дорогая ситуация — Disallow: / для всех роботов: сайт невидим целиком, и для обычного поиска, и для AI-ответов. Обычно так бывает, когда правило ставят «на время разработки» и забывают снять. Проверьте прямо сейчас — это одна ссылка.
Что делать после проверки
Проверка сама по себе ничего не чинит, поэтому на выходе нужен короткий список правок по приоритету:
- Снять случайные запреты в robots.txt: вернуть роботам доступ к содержательным разделам и осознанно решить, кого пускаем, а кого нет.
- Оживить sitemap: карта должна существовать, обновляться и быть указана в robots.txt.
- Добиться, чтобы ключевой текст отдавался в HTML без JavaScript — без этого остальные улучшения почти не имеют значения.
- Привести структуру в порядок: один H1, честные подзаголовки, таблицы и списки вместо картинок со сравнениями.
- Собрать llms.txt — карту содержательного слоя, по которой ассистенту удобно ориентироваться по сайту.
Порядок не случайный: сверху вниз — от «сайт вообще видно» к «сайт удобно читать».
Итог
- Сайт, который не читается роботом, для AI-поиска не существует — независимо от того, как он выглядит для человека.
- Проверка занимает 15 минут и не требует аналитики: robots.txt, sitemap, llms.txt, текст без JavaScript, структура.
- Чаще всего ломаются тяжёлые конструкторы, одностраничники без текста, PDF вместо страниц и случайно закрытые разделы.
- Результат проверки — короткий список правок по приоритету, а не «комплексное улучшение всего и сразу».
- Статический сайт снимает большую часть этих вопросов: готовый HTML читается роботом сразу. Мы писали об этом в статье про Hugo, статику и AI-поиск.
Если хотите, чтобы такой осмотр прошли ваши сайты — это часть нашей обычной работы в направлении ИИ: наша страница про внедрение ИИ.