Короткий ответ
ИИ-краулеры почти не запрашивают llms.txt. За месяц серверных логов 839 сайтов ИИ-боты, прошедшие проверку по IP, сделали 4 301 434 запроса, и ровно один из них был к llms-файлу: GPTBot, 20 октября 2026 года, на сайте, где файл действительно есть. Те же боты запросили robots.txt 278 704 раза, а sitemap 355 413 раз.
Запросы к llms.txt при этом бывают, их 19 031 на 781 сайте. Но 57% приходят от клиентов, которые называют себя SEO-инструментами аудита, ещё 34% от браузероподобных клиентов. И ответ сервера часто обманывает: на 544 из 838 моих сайтов /llms.txt заканчивается главной страницей с кодом 200, и беглая проверка читает это как «файл есть».
Ниже: что файл должен делать по задумке, как я считал, кто на самом деле его спрашивает, ловушка с кодом 200 и как проверить свой сайт файлами ниже. Ролик и файлы к статье — на английском.
Что такое llms.txt и что обещает предложение
llms.txt предложил Джереми Говард на сайте llmstxt.org, публикация от 3 сентября 2024 года. Текущую версию, v2 с правкой от 10 августа 2026 года, я прочитал целиком 8 ноября 2026 года. Она описывает markdown-файл в корне сайта, который подсказывает языковой модели, где лежит ключевой контент.
Формат короткий, обязателен только первый элемент:
# Название сайта
> Резюме сайта одним абзацем (необязательно)
## Docs
- [Getting started](https://example.com/start): о чём страница
- [API reference](https://example.com/api): методы и лимиты
## Optional
- [Changelog](https://example.com/changelog)
Для SEO в предложении важны четыре утверждения:
- Файл читают по запросу, когда агенту нужна информация, чтобы помочь пользователю.
- Польза ожидается в основном в момент ответа модели, а не при её обучении.
- Позиций текст не обещает: слова «rank» на странице нет.
/llms-full.txt(один длинный файл с полным текстом) встречается часто, но в тексте llmstxt.org он не определён.
Опубликовать файл несложно. По данным самого llmstxt.org, его генерируют Yoast, All in One SEO и Wix; у каждого вендора отдельно я это не проверял. OpenAI, Anthropic и Google публикуют свои файлы для документации разработчиков, и все три 8 ноября 2026 года отдали 200 и текст, начинающийся с #. В Lighthouse есть аудит llms.txt: он отмечает серверную ошибку, а ответ 404 считает «неприменимым», и документация Chrome пока называет файл необязательным.
Итак, файл живёт на практике: от плагинов WordPress до документации трёх ИИ-лабораторий. Владельцу сайта важно другое: кто его на самом деле запрашивает.
Как я считал: 839 сайтов и проверка IP по официальным спискам
У меня 839 сайтов на четырёх серверах, в нескольких странах и на нескольких языках, в основном небольшие и в основном в Европе и соседних регионах. Это не исследование крупных сайтов, к этому ограничению я вернусь в конце.
| Параметр | Значение |
|---|---|
| Окно | 9 октября – 8 ноября 2026 года, 31 день (в среднем 29,4 суток логов на сайт) |
| Запросов в логах | 113 780 902 |
| Боты с проверкой по IP | Google, Bing, Apple, OpenAI, Perplexity, Anthropic: 2 585 опубликованных диапазонов, снимок 8 ноября 2026 года |
| Запросы с именем ИИ-бота из IP вне его списка | 1 606 546, отдельной кучей |
| Сайты за Cloudflare | 784 из 838; на 774 тестовый запрос вернулся с cf-cache-status: DYNAMIC, то есть дошёл до сервера |
Честность цифр держалась на трёх правилах.
- User agent — просто текст. Имени бота я верю, только если его IP входит в опубликованные диапазоны оператора. «GPTBot» с неизвестного адреса уходит в отдельную кучу.
- Свои проверки убраны. 8 ноября мой чекер запросил
/llms.txtи/llms-full.txtна каждом моём сайте и попал в последний день окна. Я пересчитал по серверным логам и убрал его 1 536 запросов. - Всё посчитано дважды. Первый раз моим классификатором, второй раз обычными
zcatиgrepпо тем же логам. Оба подсчёта нашли тот же единственный запрос ИИ-бота к llms-файлу.
Общий метод разбора трафика ИИ-краулеров в своих логах я описал в статье про анализ логов сервера: ИИ-боты или Googlebot.
ИИ-боты с проверенным IP: robots.txt и sitemap — да, llms.txt — один раз
ИИ-боты на этих сайтах активны. Подтверждённые запросы дошли до 783 из 839 сайтов:
| Бот (IP подтверждён) | Запросов | Что это |
|---|---|---|
| ClaudeBot | 2 282 554 | краулер Anthropic |
| GPTBot | 1 150 298 | краулер OpenAI |
| OAI-SearchBot | 497 797 | поисковый краулер OpenAI |
| PerplexityBot | 344 698 | краулер Perplexity |
| ChatGPT-User | 18 105 (197 сайтов) | открывает страницу, когда человек просит ChatGPT |
| Claude-SearchBot | 6 652 | поисковый краулер Anthropic |
| Claude-User | 1 330 (476 сайтов) | открывает страницу, когда человек просит Claude |
| Итого | 4 301 434 |
Чтобы понять, ищут ли эти 4,3 млн запросов служебные файлы вообще, я взял для контроля robots.txt и sitemap:
| Что запрашивали те же боты | Запросов |
|---|---|
| robots.txt | 278 704 |
| файлы sitemap | 355 413 |
| прочие URL | 3 667 316 |
| llms.txt, llms-full.txt, /.well-known/llms.txt | 1 |
Файлы, которые управляют обходом, боты ищут. llms.txt — нет. Единственное исключение: GPTBot 20 октября 2026 года, ответ 200, на одном из двух сайтов, где файл действительно лежит. На этих двух сайтах ИИ-боты с подтверждённым IP сделали за месяц 4 597 запросов, и к файлу из них был один.
Куча из 1,6 млн запросов, которые только называют себя ИИ-ботом, не спросила llms-файлы ни разу. Тем, кто подделывает имя бота, файл тоже не интересен.
Независимое исследование Ahrefs, опубликованное 15 июня 2026 года, охватило 137 210 доменов из Ahrefs Web Analytics за май 2026-го: из примерно 38 000 валидных файлов llms.txt 97% за месяц не получили ни одного запроса. Авторы сами оговаривают, что их клиенты технически подкованнее и лучше знают SEO, чем интернет в среднем. У меня выборка другая, 839 своих сайтов и их серверные логи, а вывод тот же: ИИ-краулеры этот файл почти не запрашивают.
Кто на самом деле запрашивает llms.txt
По всем сайтам набралось 19 031 запрос к llms-файлам без моего чекера, примерно с 3 250 IP-адресов, на 781 сайте:
| Путь | Запросов |
|---|---|
/llms.txt | 17 953 |
/.well-known/llms.txt | 584 |
/llms-full.txt | 493 |
/en/llms.txt | 1 |
То есть спрашивают почти у каждого сайта. А вот кто спрашивает:
| Класс клиента | Запросов | Доля |
|---|---|---|
| user agent называет SEO-инструмент аудита | 10 909 | 57,3% |
| обычная строка браузера | 6 432 | 33,8% |
| другие боты (bot, crawler, spider, scan в имени) | 1 514 | 8,0% |
| всё остальное | 175 | 0,9% |
| ИИ-бот с подтверждённым IP | 1 | меньше 0,1% |
Один SEO-инструмент дал 8 526 из 10 909 запросов этого класса, 78%. Класс присваивается по user agent, а не по IP, поэтому эти клиенты именно «называют себя» SEO-инструментами. Я читаю это так: llms.txt стал строкой в чек-листе аудита. Некоторые аудит-инструменты действительно выводят отсутствие llms.txt как проблему в отчётах. Мои клиенты такой строки не видят, потому что в инструменте, которым я делаю для них аудит, её нет.
Эти 6 432 браузероподобных запроса я не могу разделить на людей и скрипты. Агент разработчика, работающий с ноутбука, тоже шлёт обычный с виду запрос с этого ноутбука, так что часть класса может быть ровно тем использованием, которое описывает предложение.
Что они получили в ответ? 13 085 запросов (68,8%) ушли в редирект 301, 5 422 (28,5%) получили 404, 211 получили 307, 42 получили 302, и только 207 (1,1%) — код 200. Но и эти 207 в основном не файл: два сайта, где он есть, получили 72 запроса к llms-файлам с любым кодом, значит, не меньше 135 из 207 ответов 200 отдали сайты без файла.
Ловушка кода 200: страница, похожая на файл
Обычная быстрая проверка «есть ли у сайта llms.txt» смотрит на код ответа. На заметной доле сайтов она ошибается: многие серверы отвечают на неизвестный адрес страницей и кодом 200 или сначала перенаправляют на главную.
8 ноября 2026 года я запросил /llms.txt на всех 838 своих сайтах, с переходом максимум по трём редиректам:
| Результат | Сайтов |
|---|---|
| настоящий файл | 2 |
| HTML-страница с кодом 200 (после 301 на главную) | 544 |
| 404 | 245 |
| ошибка или нет ответа | 47 |
Проверка только по коду насчитала бы 546 сайтов с файлом. На деле их два.
Та же проверка 28 крупных публичных сайтов в тот же день, по одному запросу на файл с user agent ADLAB-research (+https://adlab.ee):
| Класс | /llms.txt | Сайты |
|---|---|---|
| real | 3 | Bloomberg, GitHub, Shopify |
| html200 | 2 | Reddit отвечает 200 обычной страницей; Forbes перенаправляет на страницу согласия |
| 404 | 17 | новостные, торговые и справочные сайты |
| blocked или error | 6 | 401, 403, 202 или таймаут: с этого клиента не измерить |
Из 22 сайтов, которые удалось измерить, настоящий файл у трёх, 14%. /llms-full.txt настоящий у GitHub и Shopify. Все три настоящих файла начинаются с H1 и цитаты-резюме. Файл Bloomberg весил 48 790 байт, 27 разделов H2 и 141 ссылка, у GitHub — 28 658 байт и 117 ссылок, у Shopify — 12 801 байт и 72 ссылки.
Само измерение оказалось хрупким, и это отдельный урок. Три проверки одних и тех же 28 сайтов 8 и 9 ноября дали разные ответы:
- Первый проход нашёл два настоящих файла, а не три: Bloomberg ему не ответил. Второй, независимо написанный, нашёл все три.
- Перекрёстная проверка через curl сразу после скрипта совпала в 51 ответе из 56. Bloomberg отдал файл в 21:47 UTC, а примерно через четыре минуты — 403. Один крупный новостной сайт по HTTP/2 отвечал страницей с кодом 200, а по HTTP/1.1 — 404.
- Повтор 9 ноября совпал в 53 ответах из 56; Bloomberg весь день отвечал 403.
Поэтому одна проверка остаётся точкой данных с отметкой времени, а не вердикт. То же касается robots.txt, где ответ 200 с HTML-страницей тоже тихо ломает правила; этот случай я разобрал в статье о том, что делает Google, если robots.txt отдаёт редирект, 404 или 5xx.
Как проверить свой llms.txt за две минуты
Чекер llms.txt умещается в один файл на Python 3.8 или новее и не требует пакетов. Он запрашивает /llms.txt и /llms-full.txt, читает тело ответа и относит его к классу:
| Класс | Правило |
|---|---|
real | 200, тело не HTML, текст начинается с # |
html200 | 200, но тело — веб-страница: мягкая 404, страница согласия, главная |
404 | 404 или 410 |
blocked | 401, 403, 202, 429 или редирект на страницу блокировки: не измерить |
error | нет HTTP-ответа: DNS, TLS, таймаут, больше трёх редиректов |
other | 200 не HTML и не markdown, пустое тело, 5xx |
Запуск:
python3 check_llms_txt.py --selftest
python3 check_llms_txt.py example.com
python3 check_llms_txt.py sites.txt --out result.csv
python3 check_llms_txt.py --file llms.txt
Последняя строка проверяет черновик до публикации. Для real скрипт ещё сообщает, стоит ли H1 первой строкой, есть ли цитата-резюме и сколько в файле разделов H2 и ссылок. На одном домене прогон занимает около 5 секунд; список из 28 крупных сайтов — около 4 минут из-за паузы в 2 секунды между запросами. Датасет 28 сайтов — это CSV описанного выше прогона: класс, код, тип содержимого и размер каждого ответа.
Вторая половина проверки опирается на ваши логи. Отчёт по llms.txt в логах работает как SQL-дополнение к моему набору для аудита серверных логов. Он делит запросы к трём адресам файла на семь видов клиентов: ИИ-бот с подтверждённым IP, имя бота с чужого IP, ИИ-бот без опубликованного списка (Meta, Amazon, ByteDance, Common Crawl), бот поисковика, SEO-инструмент, браузер, скрипт. Рядом — контроль: те же клиенты на robots.txt и sitemap. На синтетическом учебном логе из 1 127 строк отчёт после прогона набора выполняется за 0,2 секунды.
Если нужен только быстрый подсчёт без набора, эта строка для логов nginx или Apache в формате combined считает запросы по коду ответа и имени клиента и не выводит IP посетителей:
grep -hE '"GET /(llms\.txt|llms-full\.txt|\.well-known/llms\.txt)(\?[^ ]*)? ' /var/log/nginx/access.log \
| awk -F'"' '{split($3,a," "); print a[1], substr($6,1,50)}' | sort | uniq -c | sort -rn | head -20
Две вещи стоит учесть. Передайте набору IP своего сервера и мониторинга, иначе ваши проверки посчитаются клиентами, как мои 8 ноября. И если CDN отдаёт /llms.txt из кеша (cf-cache-status: HIT в Cloudflare), эти запросы до вашего лога не доходят.
Логовая половина не подходит сайтам, которые вообще не пишут access-логи, например на Vercel или Cloudflare Workers, а также логам не в формате nginx или Apache combined, пока в наборе нет для них отдельного разборщика.
Как собрать llms.txt из sitemap с помощью ИИ-агента
Если вы решили файл публиковать, промт для Claude Code или Codex проводит агента с терминалом через семь шагов: пять вопросов вам, проверка того, что сейчас отвечает /llms.txt, черновик из sitemap, проверка формата, ваша вычитка, ваша выкладка и команда для логов на следующие 30 дней.
Черновику можно доверять благодаря четырём правилам промта:
- Ничего не выдумывается. Каждый заголовок и описание копируются со страницы: title, meta description или H1. Страница без meta description получает голую ссылку и попадает в список «нужен текст от меня».
- Только индексируемые страницы. Страницы с
noindex, редиректом, canonical на другой адрес или Disallow в robots.txt пропускаются, причина пишется вpages.tsv. - Агент ничего не публикует. Он не загружает, не коммитит и не деплоит. Файл в корень сайта кладёте вы, с типом
text/plainилиtext/markdown, а агент потом снова запускает чекер. - Никаких обещаний. Промт запрещает агенту утверждать, что файл улучшит позиции или цитирование в ИИ.
Шаги я проверил вручную на локальном тестовом сайте из 5 страниц: 4 вошли в черновик, страница с noindex пропущена, одна ссылка осталась без описания, потому что у страницы нет meta description. После выкладки чекер показал real, 200, text/plain, 536 байт. Полный прогон агентом не делался, поэтому следите за первыми шагами и остановите его, если он пишет за пределами рабочей папки. Такие агентные процессы я строю для клиентов в рамках AI-автоматизации.
Писать ли llms.txt: моя позиция
Это моё мнение, а не вывод из данных.
Для своих сайтов я такие файлы не делаю, а когда клиенты просят, отговариваю. В проверке выше 836 моих сайтов из 838 файла не отдают, и менять это я не вижу причин. Для обычного бизнес-сайта это работа без измеримой отдачи: ни предложение, ни мои логи не дают оснований ждать от файла визитов краулеров или позиций. Правоту мою логи тоже не доказывают, они лишь показывают, что краулеры не спрашивают.
Единственное исключение я делаю для документации разработчиков или публичного API. Это ровно тот случай, который описывает предложение: агенты для программирования читают документацию по запросу, а файл генерируется дёшево.
Что бы вы ни решили, не оставляйте подделку. Адрес должен отдавать либо настоящий файл, либо честный 404, но не главную с кодом 200. В nginx правило «файл или 404» для этого одного адреса выглядит так:
location = /llms.txt { try_files $uri =404; }
В CMS найдите правило, которое перенаправляет неизвестные адреса на главную, и исключите из него этот адрес. Отсутствие файла ничего не стоит, а подделка вводит в заблуждение каждый чекер и аудит-инструмент, который на неё смотрит. Если думать об ИИ-поиске шире, то опубликованные файлы значат меньше, чем структура контента, о которой я пишу в статьях о generative engine optimization и AEO vs GEO. А ИИ-краулеры на деле запрашивают всё те же sitemap.xml и robots.txt.
Чего эти данные сказать не могут
- Выборка моя. 839 в основном небольших сайтов, в основном в Европе и соседних регионах. Крупные сайты с большим трафиком могут выглядеть иначе.
- Настоящий файл только у двух моих сайтов. Всё, что касается «даже когда файл есть», держится на этих двух.
- Проверены только боты с опубликованными диапазонами IP. Meta, Amazon и другие операторы без публичных списков в 4,3 млн не входят.
- Инструменты на машине разработчика как таковые не видны. Они шлют запросы с этой машины и в логах выглядят как браузер или скрипт, а предложение называет документацию для агентов-программистов основным сценарием.
- Запрос не равен использованию, а отсутствие запроса не доказывает бесполезность. Внутрь OpenAI, Anthropic или Google я не вижу. Я вижу то, что доходит до моих серверов, и не утверждаю, помогает llms.txt цитированию или мешает.
Что данные говорят: на этих сайтах за этот месяц 4,3 млн запросов ИИ-ботов с подтверждённым IP прошли мимо llms.txt с одним исключением, а основной трафик к файлу дали аудит-инструменты. Если хотите увидеть ту же картину по своему сайту — по вашим логам, данным обхода и мягким 404, спрятанным за кодом 200, — я включаю это в технический SEO-аудит.
