У сайта давно появился второй читатель. Раньше приходил только человек: посмотрел баннер, покрутил слайдер, свернул аккордеон в меню. Теперь приходит AI-агент — за клиента, за сотрудника, за поисковой системой. И ему от вашей витрины не нужно почти ничего из того, во что вы вкладывались. Ему нужны две вещи: чистый текст и карта — что это за проект и где что лежит.
Проблема в том, что обычный сайт отдает агенту именно витрину. Контент упакован в HTML так, что вытащить из него смысл — отдельная работа, дорогая и неточная. llms.txt — попытка стандартизировать файл, который эту работу снимает: один markdown-файл с коротким описанием проекта, структурой и ссылками на подробные материалы. Идею предложил Jeremy Howard, спецификация опубликована 3 сентября 2024 года, сейчас действует версия v2 — обновление от 10 августа 2026.
Ниже — что это за формат, что появилось в v2, кто его уже публикует, чего от него ждать (спойлер: не чудес) и как мы отдаем такой файл у себя на Hugo, не поддерживая его руками.
Table Of Contents
Почему HTML — не то, что нужно агенту
Авторы спецификации формулируют причину появления llms.txt просто: агенты постоянно ходят по сайтам, а HTML им не дружелюбен. Страница оборачивает информацию в навигацию, рекламу и JavaScript — и обратное преобразование в чистый текст получается дорогим и неточным. Агент тратит ресурс на то, чтобы срезать шелуху, и всё равно может вытащить не то.
Вторая причина — размер. Контекстные окна моделей выросли, и это правда, но цельного сайта в них всё равно не влезет. Особенно если сайт — это сотни страниц услуг, статей и документации. Агенту нужна не вся простыня, а сжатая вводная плюс указатели: куда идти за деталями.
Для владельца сайта это выглядит так: агент пришел, не понял, что здесь главное, ушел — и вы об этом даже не узнаете. Именно такие вещи мы ищем, когда делаем аудит сайта на «понятность» для AI: отдельная статья о том, как ИИ-агенты видят ваш сайт. llms.txt — самый дешевый способ закрыть часть этих проблем заранее.
Что такое llms.txt
llms.txt — это markdown-файл, который дает агенту краткую вводную информацию о сайте: что это за проект, какие есть ориентиры и где лежат подробные материалы. Файл можно положить в корень сайта, а можно — в любую папку. Тогда он покрывает страницы под этим путем: положили в /docs/llms.txt — описали документацию, положили в /blog/llms.txt — описали блог.
Ключевая мысль: это не дубликат сайта, а именно карта. Короткое описание того, что перед агентом, плюс ссылки на подробные файлы, которые он может прочитать, если тема ему нужна. Человек такой файл тоже читает без проблем — и это не побочный эффект, а свойство формата.
Формат: markdown, который читают и человек, и машина
Разметка llms.txt — обычный markdown. Это осознанный выбор: текст читаем и человеком, и моделью, но при этом достаточно жесткий, чтобы его могли обрабатывать парсеры и регулярные выражения. Никакого кастомного синтаксиса учить не надо.
Практическая структура простая: название проекта, короткое описание, дальше — секции со ссылками на страницы, каждая ссылка может нести свое описание. Выглядит это так:
# Название проекта
> Короткое описание: что это и для кого.
## Секция
- [Название страницы](https://example.com/page/): что на ней и зачем идти.
- [Другая страница](https://example.com/other/): еще одно описание.
Info
Спецификация упоминает и расширение — llms-full.txt: файл, в котором материалы собраны полностью, склеены в один документ. Это вариант для тех случаев, когда агенту удобнее получить всё сразу, а не ходить по ссылкам.
Что нового в v2: markdown-версии страниц и машинные связи
Обновление от 10 августа 2026 добавило то, чего формату не хватало для полноценной работы: способ отдавать сам контент в чистом виде и стандартный способ этот контент обнаруживать.
Первое — markdown-версии отдельных страниц предлагается класть рядом с HTML по тому же адресу: page.html.md или page.md. Агент, которому нужна страница целиком, берет не размеченную навигацией HTML-простыню, а готовый чистый текст.
Второе — стандартные связи для машинного обнаружения этих версий. В HTML страницы добавляются два указателя: rel="alternate" type="text/markdown" — ссылка на markdown-версию этой же страницы, и rel="describedby" — ссылка на покрывающий llms.txt. То есть агент, пришедший на конкретную страницу, сам находит и чистую версию, и карту раздела, не догадываясь о них по расписке.
Смотрите, как это складывается в целое: llms.txt дает обзор сайта, markdown-версии дают чистый контент страниц, а rel-связи позволяют агенту связать одно с другим автоматически. До v2 это были бы просто договоренности «на честном слове», теперь у них есть формальное место в спецификации.
Кто уже это делает
Адопция — та часть, где у формата уже не «обещания», а факты, и данные по ним спецификация v2 приводит сама:
- тысячи сайтов уже публикуют llms.txt;
- платформы документации генерируют его автоматически, как sitemap;
- Chrome Lighthouse знает про llms.txt в проверках agentic browsing, но не требует файл: аудит срабатывает на серверную ошибку при его получении, а 404 даёт статус «Not Applicable» — файл опционален;
- сами AI-лаборатории — OpenAI, Anthropic и Gemini — публикуют llms.txt для собственной документации разработчиков.
Последний пункт, на наш взгляд, самый показательный. Если компаниям, которые строят самих агентов, важно описывать свою документацию таким файлом — значит, механизм работает и для их инструментов. Первоисточник по всем перечисленным пунктам — спецификация на llmstxt.org.
Что показали логи: 97% файлов никто не читает
Самое полезное исследование по теме вышло в июне 2026: Ahrefs разобрал 137 210 доменов и посмотрел не на «есть ли файл», а на то, кто его реально запрашивает. Картина трезвая:
- 28% доменов публикуют llms.txt;
- 97% файлов получили ноль запросов — из примерно 38 000 валидных файлов трафик был у ~1 100;
- 96% запросов — боты, 4% — люди;
- именные AI-боты дают 19,5% запросов; поисковые AI-краулеры (OAI-SearchBot, PerplexityBot и поисковый бот Claude) вместе сделали лишь пару сотен запросов на тысячи сайтов;
- 12% запросов — сами GEO/AEO-инструменты, которые проверяют наличие файлов друг у друга;
- среди 404-ответов доля AI-ботов — ноль: отсутствующий файл никто не ищет.
Вывод Ahrefs жёсткий: если цель — попадать в ответы ChatGPT, Perplexity или AI Overviews, то llms.txt сегодня «в основном декорация». И рядом — официальная позиция Google: в гайде по оптимизации под генеративный поиск сказано, что создавать специальные файлы вроде llms.txt не нужно, потому что Google Search их не использует.
Warning
Это не значит «не делайте». Это значит «не ждите эффекта от самого факта публикации». Файл имеет смысл по трём причинам: он дисциплинирует структуру сайта, его генерирует сборка — значит он не расходится с контентом, и он помогает агентам, которых вы к нему сами отправите: в документации, в rel="describedby", в инструкции для своего кодинг-агента. Механика «опубликовал и пошёл трафик» не работает.
Хорошая новость: тот же разбор даёт и рецепт. Агенты фетчат llms.txt по указанию, а не по собственной инициативе — поэтому ссылку на файл надо ставить в HTML и в документацию, а сам файл держать как код: версия в git, предупреждение на правки, только ссылки и описания, без «инструкций для модели».
Что это даёт — и чего не даёт
Здесь нужна честная рамка, потому что вокруг llms.txt уже успели налепить ожиданий, которых формат не подтверждает.
llms.txt — не стандарт RFC. Это предложение формата с растущей адопцией, но без статуса официального интернет-стандарта. И — главное — это не гарантия цитирования. Наличие файла не обязывает ни одну модель вас упоминать, не поднимает вас в ответах и не заменяет нормальный контент. Если на сайте нечего сказать, llms.txt лишь аккуратно оформит пустоту.
Что файл реально делает — снимает трение. Агенту не нужно тратить ресурс на распутывание HTML: он сразу видит структуру и берет чистые версии страниц. Для вас это дешевая страховка: один шаблон в сборке — и ваш сайт становится тем, что агентам проще читать правильно. Гарантий это не дает, но варианты «агент понял вас неверно» или «не понял вовсе» отсекает почти бесплатно.
Warning
Не стройте стратегию «сделал llms.txt — меня цитируют». Файл — про понятность и доступность контента, а не про ранжирование в ответах моделей. Решение о том, что процитировать, каждая модель принимает по своим правилам, и файл в корне сайта на них не влияет.
Как сделать на Hugo
Мы публиковать llms.txt руками не любим: любой файл, который поддерживается отдельно от контента, рано или поздно расходится с ним. Поэтому правильный путь на статике — шаблон, который отдает llms.txt при сборке. Файл генерируется из тех же данных, что и сам сайт: описание, структура разделов, ссылки на страницы. Обновили контент — пересобрали — llms.txt соответствует реальности по определению, руками не трогается никогда.
Hugo для этого подходит идеально: сборка детерминирована, все данные сайта доступны в шаблонах, и файл получается побочным продуктом билда, а не отдельным проектом. Как мы устроили такую генерацию и что еще статика дает для AI-инфраструктуры — разобрали в отдельной статье про Hugo и статические сайты.
Чек-лист: что в файле, чего быть не должно
Структура файла складывается из нескольких блоков, и у каждого своя работа:
| Блок файла | Зачем он |
|---|---|
| Название проекта (заголовок H1) | Точка входа: агент понимает, куда попал |
| Короткое описание (блок-цитата) | Сжатая вводная: что это и для кого, без чтения остальных страниц |
| Секции (заголовки H2) | Структура: тематические группы вместо свалки ссылок |
| Ссылки с описаниями | Указатели на подробные markdown-материалы, агент выбирает, куда идти |
| Markdown-версии страниц рядом с HTML (v2) | Чистый контент без навигации и JavaScript |
rel-связи alternate / describedby | Машинное обнаружение версий и покрывающего llms.txt |
Чего в файле быть не должно:
- маркетингового шума и слоганов — агенту они не помогают, а место и контекст тратят;
- ссылок «вообще» на все подряд — чем точнее структура, тем полезнее карта;
- устаревших ссылок на удаленные страницы — это хуже, чем отсутствие файла;
- дублирования полного текста страниц — для этого есть
llms-full.txt.
Итог
- llms.txt — файл-карта для AI-агентов: markdown с описанием проекта, структурой и ссылками на подробные материалы. Идея Jeremy Howard, спецификация на llmstxt.org, действует версия v2 от 10 августа 2026.
- v2 закрыл главную дыру: markdown-версии страниц (
page.html.md/page.md) плюс rel-связи для их машинного обнаружения. - Адопция широкая, читаемость низкая: 28% доменов публикуют файл, но 97% файлов не получают ни одного запроса (Ahrefs, июнь 2026), а Google прямо говорит, что его поиску файл не нужен.
- Это не гарантия цитирования, а снятие трения — и не стандарт RFC. Но трение снимается одним шаблоном в сборке, и файл всегда соответствует контенту.
- Если хотите понять, как ваш сайт выглядит глазами агента и где он спотыкается — начните с аудита сайта для AI или напишите нам: мы внедряем ИИ и сами живем на статике с таким файлом.