Обсудить проект

llms.txt: запрашивают ли его боты ChatGPT и Claude

За месяц логов 839 сайтов ИИ-боты с проверенным IP сделали 4,3 млн запросов и спросили llms.txt один раз. Кто его на деле запрашивает и как проверить свой.

Владислав Криворучко — основатель ADLAB
Vladislav Krivorutško

9 ноября 2026 г. · 19 мин чтения

Ролик на английском языке, канал ADLAB. Открыть на YouTube

Содержание
  1. 01Короткий ответ
  2. 02Что такое llms.txt и что обещает предложение
  3. 03Как я считал: 839 сайтов и проверка IP по официальным спискам
  4. 04ИИ-боты с проверенным IP: robots.txt и sitemap — да, llms.txt — один раз
  5. 05Кто на самом деле запрашивает llms.txt
  6. 06Ловушка кода 200: страница, похожая на файл
  7. 07Как проверить свой llms.txt за две минуты
  8. 08Как собрать llms.txt из sitemap с помощью ИИ-агента
  9. 09Писать ли llms.txt: моя позиция
  10. 10Чего эти данные сказать не могут
  11. Проверьте себя
  12. Материалы к ролику

TL;DR — коротко о главном

  1. 1В логах 839 сайтов за 9 октября – 8 ноября 2026 года ИИ-боты, подтверждённые по IP, сделали 4 301 434 запроса. К llms.txt из них был один, к robots.txt — 278 704, к sitemap — 355 413
  2. 2Все 19 031 запрос к llms-файлам пришли в основном от клиентов, которые называют себя SEO-инструментами (57%), и от браузероподобных клиентов (34%); один инструмент дал 78% SEO-запросов
  3. 3Код 200 не доказывает, что файл есть: на 544 из 838 моих сайтов запрос /llms.txt заканчивается главной страницей с кодом 200, а из 22 крупных сайтов, которые удалось измерить, настоящий файл у трёх
  4. 4Настоящий llms.txt — простой текст, первая строка которого — markdown-заголовок. Если файла нет, адрес должен отвечать честным 404, а не главной
  5. 5Логи показывают, кто спрашивал, но не помогает ли файл цитированию или позициям. Для обычных бизнес-сайтов я такие файлы не делаю; для документации разработчиков и API это дешёвое исключение

Короткий ответ

ИИ-краулеры почти не запрашивают llms.txt. За месяц серверных логов 839 сайтов ИИ-боты, прошедшие проверку по IP, сделали 4 301 434 запроса, и ровно один из них был к llms-файлу: GPTBot, 20 октября 2026 года, на сайте, где файл действительно есть. Те же боты запросили robots.txt 278 704 раза, а sitemap 355 413 раз.

Запросы к llms.txt при этом бывают, их 19 031 на 781 сайте. Но 57% приходят от клиентов, которые называют себя SEO-инструментами аудита, ещё 34% от браузероподобных клиентов. И ответ сервера часто обманывает: на 544 из 838 моих сайтов /llms.txt заканчивается главной страницей с кодом 200, и беглая проверка читает это как «файл есть».

Ниже: что файл должен делать по задумке, как я считал, кто на самом деле его спрашивает, ловушка с кодом 200 и как проверить свой сайт файлами ниже. Ролик и файлы к статье — на английском.

Что такое llms.txt и что обещает предложение

llms.txt предложил Джереми Говард на сайте llmstxt.org, публикация от 3 сентября 2024 года. Текущую версию, v2 с правкой от 10 августа 2026 года, я прочитал целиком 8 ноября 2026 года. Она описывает markdown-файл в корне сайта, который подсказывает языковой модели, где лежит ключевой контент.

Формат короткий, обязателен только первый элемент:

# Название сайта

> Резюме сайта одним абзацем (необязательно)

## Docs

- [Getting started](https://example.com/start): о чём страница
- [API reference](https://example.com/api): методы и лимиты

## Optional

- [Changelog](https://example.com/changelog)

Для SEO в предложении важны четыре утверждения:

  1. Файл читают по запросу, когда агенту нужна информация, чтобы помочь пользователю.
  2. Польза ожидается в основном в момент ответа модели, а не при её обучении.
  3. Позиций текст не обещает: слова «rank» на странице нет.
  4. /llms-full.txt (один длинный файл с полным текстом) встречается часто, но в тексте llmstxt.org он не определён.

Опубликовать файл несложно. По данным самого llmstxt.org, его генерируют Yoast, All in One SEO и Wix; у каждого вендора отдельно я это не проверял. OpenAI, Anthropic и Google публикуют свои файлы для документации разработчиков, и все три 8 ноября 2026 года отдали 200 и текст, начинающийся с #. В Lighthouse есть аудит llms.txt: он отмечает серверную ошибку, а ответ 404 считает «неприменимым», и документация Chrome пока называет файл необязательным.

Итак, файл живёт на практике: от плагинов WordPress до документации трёх ИИ-лабораторий. Владельцу сайта важно другое: кто его на самом деле запрашивает.

Как я считал: 839 сайтов и проверка IP по официальным спискам

У меня 839 сайтов на четырёх серверах, в нескольких странах и на нескольких языках, в основном небольшие и в основном в Европе и соседних регионах. Это не исследование крупных сайтов, к этому ограничению я вернусь в конце.

ПараметрЗначение
Окно9 октября – 8 ноября 2026 года, 31 день (в среднем 29,4 суток логов на сайт)
Запросов в логах113 780 902
Боты с проверкой по IPGoogle, Bing, Apple, OpenAI, Perplexity, Anthropic: 2 585 опубликованных диапазонов, снимок 8 ноября 2026 года
Запросы с именем ИИ-бота из IP вне его списка1 606 546, отдельной кучей
Сайты за Cloudflare784 из 838; на 774 тестовый запрос вернулся с cf-cache-status: DYNAMIC, то есть дошёл до сервера

Честность цифр держалась на трёх правилах.

  1. User agent — просто текст. Имени бота я верю, только если его IP входит в опубликованные диапазоны оператора. «GPTBot» с неизвестного адреса уходит в отдельную кучу.
  2. Свои проверки убраны. 8 ноября мой чекер запросил /llms.txt и /llms-full.txt на каждом моём сайте и попал в последний день окна. Я пересчитал по серверным логам и убрал его 1 536 запросов.
  3. Всё посчитано дважды. Первый раз моим классификатором, второй раз обычными zcat и grep по тем же логам. Оба подсчёта нашли тот же единственный запрос ИИ-бота к llms-файлу.

Общий метод разбора трафика ИИ-краулеров в своих логах я описал в статье про анализ логов сервера: ИИ-боты или Googlebot.

ИИ-боты с проверенным IP: robots.txt и sitemap — да, llms.txt — один раз

ИИ-боты на этих сайтах активны. Подтверждённые запросы дошли до 783 из 839 сайтов:

Бот (IP подтверждён)ЗапросовЧто это
ClaudeBot2 282 554краулер Anthropic
GPTBot1 150 298краулер OpenAI
OAI-SearchBot497 797поисковый краулер OpenAI
PerplexityBot344 698краулер Perplexity
ChatGPT-User18 105 (197 сайтов)открывает страницу, когда человек просит ChatGPT
Claude-SearchBot6 652поисковый краулер Anthropic
Claude-User1 330 (476 сайтов)открывает страницу, когда человек просит Claude
Итого4 301 434

Чтобы понять, ищут ли эти 4,3 млн запросов служебные файлы вообще, я взял для контроля robots.txt и sitemap:

Что запрашивали те же ботыЗапросов
robots.txt278 704
файлы sitemap355 413
прочие URL3 667 316
llms.txt, llms-full.txt, /.well-known/llms.txt1
Запросы ИИ-ботов: служебные файлы и llms.txtвсе запросы этих ботов4 301 434файлы sitemap355 413robots.txt278 704llms-файлы1GPTBot, 20 октября 2026110010 тыс.1 млнШкала логарифмическая: каждая линия ×10
Запросы ИИ-ботов, чей IP совпал с опубликованным списком оператора, 839 сайтов, 9 октября – 8 ноября 2026 года. Шкала логарифмическая: на обычной полоска llms.txt была бы не видна. Данные из таблиц выше.

Файлы, которые управляют обходом, боты ищут. llms.txt — нет. Единственное исключение: GPTBot 20 октября 2026 года, ответ 200, на одном из двух сайтов, где файл действительно лежит. На этих двух сайтах ИИ-боты с подтверждённым IP сделали за месяц 4 597 запросов, и к файлу из них был один.

Куча из 1,6 млн запросов, которые только называют себя ИИ-ботом, не спросила llms-файлы ни разу. Тем, кто подделывает имя бота, файл тоже не интересен.

Независимое исследование Ahrefs, опубликованное 15 июня 2026 года, охватило 137 210 доменов из Ahrefs Web Analytics за май 2026-го: из примерно 38 000 валидных файлов llms.txt 97% за месяц не получили ни одного запроса. Авторы сами оговаривают, что их клиенты технически подкованнее и лучше знают SEO, чем интернет в среднем. У меня выборка другая, 839 своих сайтов и их серверные логи, а вывод тот же: ИИ-краулеры этот файл почти не запрашивают.

Кто на самом деле запрашивает llms.txt

По всем сайтам набралось 19 031 запрос к llms-файлам без моего чекера, примерно с 3 250 IP-адресов, на 781 сайте:

ПутьЗапросов
/llms.txt17 953
/.well-known/llms.txt584
/llms-full.txt493
/en/llms.txt1

То есть спрашивают почти у каждого сайта. А вот кто спрашивает:

Класс клиентаЗапросовДоля
user agent называет SEO-инструмент аудита10 90957,3%
обычная строка браузера6 43233,8%
другие боты (bot, crawler, spider, scan в имени)1 5148,0%
всё остальное1750,9%
ИИ-бот с подтверждённым IP1меньше 0,1%

Один SEO-инструмент дал 8 526 из 10 909 запросов этого класса, 78%. Класс присваивается по user agent, а не по IP, поэтому эти клиенты именно «называют себя» SEO-инструментами. Я читаю это так: llms.txt стал строкой в чек-листе аудита. Некоторые аудит-инструменты действительно выводят отсутствие llms.txt как проблему в отчётах. Мои клиенты такой строки не видят, потому что в инструменте, которым я делаю для них аудит, её нет.

Эти 6 432 браузероподобных запроса я не могу разделить на людей и скрипты. Агент разработчика, работающий с ноутбука, тоже шлёт обычный с виду запрос с этого ноутбука, так что часть класса может быть ровно тем использованием, которое описывает предложение.

Что они получили в ответ? 13 085 запросов (68,8%) ушли в редирект 301, 5 422 (28,5%) получили 404, 211 получили 307, 42 получили 302, и только 207 (1,1%) — код 200. Но и эти 207 в основном не файл: два сайта, где он есть, получили 72 запроса к llms-файлам с любым кодом, значит, не меньше 135 из 207 ответов 200 отдали сайты без файла.

Ловушка кода 200: страница, похожая на файл

Обычная быстрая проверка «есть ли у сайта llms.txt» смотрит на код ответа. На заметной доле сайтов она ошибается: многие серверы отвечают на неизвестный адрес страницей и кодом 200 или сначала перенаправляют на главную.

8 ноября 2026 года я запросил /llms.txt на всех 838 своих сайтах, с переходом максимум по трём редиректам:

РезультатСайтов
настоящий файл2
HTML-страница с кодом 200 (после 301 на главную)544
404245
ошибка или нет ответа47

Проверка только по коду насчитала бы 546 сайтов с файлом. На деле их два.

Что отвечает /llms.txt на 838 сайтах/llms.txt на 838 моих сайтах544245544 сайта301главная200 + HTMLпо коду похоже на файл: мягкий 404245 сайтов404честный ответ: файла нет2 сайта200текст «# …»настоящий файл47 сайтовошибка или нет ответаПроверка только по коду: «с файлом»546Настоящий файл2
Ответ на запрос /llms.txt с переходом максимум по трём редиректам, 838 моих сайтов, замер 8 ноября 2026 года.

Та же проверка 28 крупных публичных сайтов в тот же день, по одному запросу на файл с user agent ADLAB-research (+https://adlab.ee):

Класс/llms.txtСайты
real3Bloomberg, GitHub, Shopify
html2002Reddit отвечает 200 обычной страницей; Forbes перенаправляет на страницу согласия
40417новостные, торговые и справочные сайты
blocked или error6401, 403, 202 или таймаут: с этого клиента не измерить

Из 22 сайтов, которые удалось измерить, настоящий файл у трёх, 14%. /llms-full.txt настоящий у GitHub и Shopify. Все три настоящих файла начинаются с H1 и цитаты-резюме. Файл Bloomberg весил 48 790 байт, 27 разделов H2 и 141 ссылка, у GitHub — 28 658 байт и 117 ссылок, у Shopify — 12 801 байт и 72 ссылки.

Само измерение оказалось хрупким, и это отдельный урок. Три проверки одних и тех же 28 сайтов 8 и 9 ноября дали разные ответы:

  • Первый проход нашёл два настоящих файла, а не три: Bloomberg ему не ответил. Второй, независимо написанный, нашёл все три.
  • Перекрёстная проверка через curl сразу после скрипта совпала в 51 ответе из 56. Bloomberg отдал файл в 21:47 UTC, а примерно через четыре минуты — 403. Один крупный новостной сайт по HTTP/2 отвечал страницей с кодом 200, а по HTTP/1.1 — 404.
  • Повтор 9 ноября совпал в 53 ответах из 56; Bloomberg весь день отвечал 403.

Поэтому одна проверка остаётся точкой данных с отметкой времени, а не вердикт. То же касается robots.txt, где ответ 200 с HTML-страницей тоже тихо ломает правила; этот случай я разобрал в статье о том, что делает Google, если robots.txt отдаёт редирект, 404 или 5xx.

Как проверить свой llms.txt за две минуты

Чекер llms.txt умещается в один файл на Python 3.8 или новее и не требует пакетов. Он запрашивает /llms.txt и /llms-full.txt, читает тело ответа и относит его к классу:

КлассПравило
real200, тело не HTML, текст начинается с #
html200200, но тело — веб-страница: мягкая 404, страница согласия, главная
404404 или 410
blocked401, 403, 202, 429 или редирект на страницу блокировки: не измерить
errorнет HTTP-ответа: DNS, TLS, таймаут, больше трёх редиректов
other200 не HTML и не markdown, пустое тело, 5xx

Запуск:

python3 check_llms_txt.py --selftest
python3 check_llms_txt.py example.com
python3 check_llms_txt.py sites.txt --out result.csv
python3 check_llms_txt.py --file llms.txt

Последняя строка проверяет черновик до публикации. Для real скрипт ещё сообщает, стоит ли H1 первой строкой, есть ли цитата-резюме и сколько в файле разделов H2 и ссылок. На одном домене прогон занимает около 5 секунд; список из 28 крупных сайтов — около 4 минут из-за паузы в 2 секунды между запросами. Датасет 28 сайтов — это CSV описанного выше прогона: класс, код, тип содержимого и размер каждого ответа.

Вторая половина проверки опирается на ваши логи. Отчёт по llms.txt в логах работает как SQL-дополнение к моему набору для аудита серверных логов. Он делит запросы к трём адресам файла на семь видов клиентов: ИИ-бот с подтверждённым IP, имя бота с чужого IP, ИИ-бот без опубликованного списка (Meta, Amazon, ByteDance, Common Crawl), бот поисковика, SEO-инструмент, браузер, скрипт. Рядом — контроль: те же клиенты на robots.txt и sitemap. На синтетическом учебном логе из 1 127 строк отчёт после прогона набора выполняется за 0,2 секунды.

Если нужен только быстрый подсчёт без набора, эта строка для логов nginx или Apache в формате combined считает запросы по коду ответа и имени клиента и не выводит IP посетителей:

grep -hE '"GET /(llms\.txt|llms-full\.txt|\.well-known/llms\.txt)(\?[^ ]*)? ' /var/log/nginx/access.log \
  | awk -F'"' '{split($3,a," "); print a[1], substr($6,1,50)}' | sort | uniq -c | sort -rn | head -20

Две вещи стоит учесть. Передайте набору IP своего сервера и мониторинга, иначе ваши проверки посчитаются клиентами, как мои 8 ноября. И если CDN отдаёт /llms.txt из кеша (cf-cache-status: HIT в Cloudflare), эти запросы до вашего лога не доходят.

Логовая половина не подходит сайтам, которые вообще не пишут access-логи, например на Vercel или Cloudflare Workers, а также логам не в формате nginx или Apache combined, пока в наборе нет для них отдельного разборщика.

Как собрать llms.txt из sitemap с помощью ИИ-агента

Если вы решили файл публиковать, промт для Claude Code или Codex проводит агента с терминалом через семь шагов: пять вопросов вам, проверка того, что сейчас отвечает /llms.txt, черновик из sitemap, проверка формата, ваша вычитка, ваша выкладка и команда для логов на следующие 30 дней.

Черновику можно доверять благодаря четырём правилам промта:

  • Ничего не выдумывается. Каждый заголовок и описание копируются со страницы: title, meta description или H1. Страница без meta description получает голую ссылку и попадает в список «нужен текст от меня».
  • Только индексируемые страницы. Страницы с noindex, редиректом, canonical на другой адрес или Disallow в robots.txt пропускаются, причина пишется в pages.tsv.
  • Агент ничего не публикует. Он не загружает, не коммитит и не деплоит. Файл в корень сайта кладёте вы, с типом text/plain или text/markdown, а агент потом снова запускает чекер.
  • Никаких обещаний. Промт запрещает агенту утверждать, что файл улучшит позиции или цитирование в ИИ.

Шаги я проверил вручную на локальном тестовом сайте из 5 страниц: 4 вошли в черновик, страница с noindex пропущена, одна ссылка осталась без описания, потому что у страницы нет meta description. После выкладки чекер показал real, 200, text/plain, 536 байт. Полный прогон агентом не делался, поэтому следите за первыми шагами и остановите его, если он пишет за пределами рабочей папки. Такие агентные процессы я строю для клиентов в рамках AI-автоматизации.

Писать ли llms.txt: моя позиция

Это моё мнение, а не вывод из данных.

Для своих сайтов я такие файлы не делаю, а когда клиенты просят, отговариваю. В проверке выше 836 моих сайтов из 838 файла не отдают, и менять это я не вижу причин. Для обычного бизнес-сайта это работа без измеримой отдачи: ни предложение, ни мои логи не дают оснований ждать от файла визитов краулеров или позиций. Правоту мою логи тоже не доказывают, они лишь показывают, что краулеры не спрашивают.

Единственное исключение я делаю для документации разработчиков или публичного API. Это ровно тот случай, который описывает предложение: агенты для программирования читают документацию по запросу, а файл генерируется дёшево.

Что бы вы ни решили, не оставляйте подделку. Адрес должен отдавать либо настоящий файл, либо честный 404, но не главную с кодом 200. В nginx правило «файл или 404» для этого одного адреса выглядит так:

location = /llms.txt { try_files $uri =404; }

В CMS найдите правило, которое перенаправляет неизвестные адреса на главную, и исключите из него этот адрес. Отсутствие файла ничего не стоит, а подделка вводит в заблуждение каждый чекер и аудит-инструмент, который на неё смотрит. Если думать об ИИ-поиске шире, то опубликованные файлы значат меньше, чем структура контента, о которой я пишу в статьях о generative engine optimization и AEO vs GEO. А ИИ-краулеры на деле запрашивают всё те же sitemap.xml и robots.txt.

Чего эти данные сказать не могут

  • Выборка моя. 839 в основном небольших сайтов, в основном в Европе и соседних регионах. Крупные сайты с большим трафиком могут выглядеть иначе.
  • Настоящий файл только у двух моих сайтов. Всё, что касается «даже когда файл есть», держится на этих двух.
  • Проверены только боты с опубликованными диапазонами IP. Meta, Amazon и другие операторы без публичных списков в 4,3 млн не входят.
  • Инструменты на машине разработчика как таковые не видны. Они шлют запросы с этой машины и в логах выглядят как браузер или скрипт, а предложение называет документацию для агентов-программистов основным сценарием.
  • Запрос не равен использованию, а отсутствие запроса не доказывает бесполезность. Внутрь OpenAI, Anthropic или Google я не вижу. Я вижу то, что доходит до моих серверов, и не утверждаю, помогает llms.txt цитированию или мешает.

Что данные говорят: на этих сайтах за этот месяц 4,3 млн запросов ИИ-ботов с подтверждённым IP прошли мимо llms.txt с одним исключением, а основной трафик к файлу дали аудит-инструменты. Если хотите увидеть ту же картину по своему сайту — по вашим логам, данным обхода и мягким 404, спрятанным за кодом 200, — я включаю это в технический SEO-аудит.

Тест

Проверьте себя

Несколько вопросов по статье. Ответ и разбор появляются сразу после выбора, ответы никуда не отправляются.

0/4

отвечено

  1. 1.Чекер показывает, что /llms.txt на вашем сайте отвечает 200. Что это значит?
  2. 2.В логах за месяц сотни запросов к /llms.txt. Кто их скорее всего прислал?
  3. 3.Аудит-отчёт помечает отсутствие llms.txt на обычном бизнес-сайте. Что делает автор?
  4. 4.Запрос к /llms.txt пришёл с user agent GPTBot, но с IP вне опубликованных диапазонов OpenAI. Как его считать?

ADLAB · файлы к ролику

Материалы к ролику

Скрипты, промты, шаблоны и данные, которые показаны в ролике. Файлы на английском: текстовые открываются как обычный текст, архив собирает все файлы одного материала.

  1. 01Скрипт4 файла · 24 KB · MIT

    Проверка llms.txt: настоящий файл или страница с кодом 200, которая на него только похожа?

    Скрипт на Python, только стандартная библиотека: делит ответы /llms.txt и /llms-full.txt на real, html200, 404, blocked и error и проверяет формат llmstxt.org.

    Состав · 4 файла
    • README.md

      Запуск в 3 шага, правила классов, колонки CSV, ограничения

      4.2 KB
    • check_llms_txt.py

      Сама проверка: Python 3.8+, только стандартная библиотека, с офлайн-самопроверкой

      16 KB
    • curl_check.sh

      Перекрёстная проверка: те же классы через curl и shell, отдельный код

      3.1 KB
    • sites.txt

      28 публичных доменов из набора данных ADLAB, по одному на строку

      607 B
  2. 02SQL · Скрипт4 файла · 253 KB · MIT

    llms.txt в логах сервера: кто его запрашивает и что получает

    SQL-дополнение к log-audit-kit: считает запросы llms.txt от подтверждённых ИИ-ботов, ботов с чужим именем, SEO-сервисов и браузеров; robots.txt — для контроля.

    Состав · 4 файла
    • README.md

      Что нужно, запуск в 3 шага, разделы, ограничения

      9.0 KB
    • llms_report.sql

      8 разделов поверх enriched.parquet из набора: по типу клиента, по боту, по дням; robots.txt — для контроля

      6.1 KB
    • sample/make_llms_sample.py

      Генератор синтетического лога (детерминированный, только стандартная библиотека)

      10 KB
    • sample/llms.sample.log

      Синтетический лог на 1 127 строк для example.com, 7 дней, с запросами llms от клиентов всех типов

      228 KB
  3. 03Данные4 файла · 28 KB · CC-BY-4.0

    llms.txt на 28 крупных сайтах: у кого настоящий файл (данные, 2026-11-08)

    28 крупных сайтов, проверка 2026-11-08: у 3 настоящий /llms.txt, 2 отвечают 200 с веб-страницей, 17 отдают 404, 6 замерить не удалось. CSV, CC BY 4.0.

    Состав · 4 файла
    • llms-txt-28-sites.csv

      Строка на сайт: класс, статус, тип содержимого, размер и соответствие формату llmstxt.org для /llms.txt и /llms-full.txt

      5.9 KB
    • check_llms_txt.py

      Python 3.8+, только стандартная библиотека; повторяет замер (тот же файл, что в материале с проверкой)

      16 KB
    • sites.txt

      28 доменов, которые запрашивались

      607 B
    • README.md

      Определения, колонки, перекрёстная проверка через curl, ограничения

      6.0 KB
  4. 04Промт2 файла · 11 KB · MIT

    Промпт: ИИ-агент проверяет llms.txt и собирает черновик по вашему sitemap

    Промпт для Claude Code или Codex: проверяет ваш /llms.txt, собирает черновик по sitemap из текста ваших же страниц и ничего не публикует.

    Состав · 2 файла
    • prompt.md

      Промпт, готовый к вставке в агента с доступом к терминалу

      9.0 KB
    • README.md

      Как пользоваться и что проверить, прежде чем доверять результату

      2.0 KB

Частые вопросы

Что такое llms.txt?
llms.txt — markdown-файл в корне сайта, который в сентябре 2024 года предложил Джереми Говард на llmstxt.org. В нём перечислены ключевые страницы сайта с короткими пояснениями, чтобы языковая модель могла найти их, когда отвечает пользователю. Обязателен только заголовок H1; цитата-резюме и разделы H2 со списками ссылок необязательны. Это предложение, а не стандарт, принятый поисковыми системами.
Читают ли llms.txt GPTBot и ClaudeBot?
В моих логах 839 сайтов за месяц ИИ-боты, чей IP совпал с опубликованными списками операторов, сделали 4,3 млн запросов и спросили llms.txt ровно один раз: GPTBot 20 октября 2026 года, на сайте, где файл есть. ClaudeBot сделал 2,28 млн запросов и ни одного к llms-файлам. Те же боты запросили robots.txt 278 704 раза. Это выборка в основном небольших сайтов, а не весь интернет.
Помогает ли llms.txt SEO и позициям в Google?
Никто этого не показал. Текст llmstxt.org позиций не обещает, документация Lighthouse в Chrome называет файл необязательным, а его отсутствие отмечает как «неприменимо». Серверные логи показывают, кто запросил файл, но не то, изменил ли он цитирование или позиции, поэтому влияния на ранжирование я от него не жду.
Почему llms.txt отвечает 200, хотя я его не создавал?
Чаще всего сервер перенаправляет неизвестные адреса на главную или отвечает на них обычной страницей с кодом 200, то есть мягкой 404. На 544 из 838 моих сайтов запрос /llms.txt заканчивался главной страницей с кодом 200. Проверка, которая смотрит только на код ответа, засчитает это как опубликованный файл. Исправление — честный 404 для этого адреса.
Как проверить, что мой llms.txt — настоящий файл?
Запросите /llms.txt через curl или чекер, а не во вкладке браузера, и посмотрите на три вещи: код ответа, тип содержимого и первую строку. Настоящий файл отвечает 200, не является HTML-страницей и начинается с markdown-заголовка вида «# Название сайта». Чекер из материалов к статье делает это для списка доменов за несколько секунд на домен и заодно проверяет /llms-full.txt.
Кто запрашивает llms.txt, если не ИИ-боты?
В моей выборке 10 909 из 19 031 запроса к llms-файлам пришли от клиентов, чей user agent называет SEO-инструмент аудита, и 6 432 от клиентов с обычной строкой браузера: это могут быть люди или скрипты. Инструменты разработчика, запущенные на ноутбуке, в логах тоже выглядят как браузер или скрипт, потому что запрос идёт с этого ноутбука, а не из опубликованных диапазонов ботов.
Владислав Криворучко — основатель ADLAB

Автор статьи

Владислав Криворучко

Основатель ADLAB OÜ · SEO и Google Ads

Больше 20 лет в поисковом трафике и монетизации, на эстонском рынке — с 2017 года. Работаю один: сам провожу аудит, строю стратегию и веду проекты — без подрядчиков и шаблонов. Пишу только о том, что проверил на своих и клиентских сайтах.

  • 20+ лет в поисковом трафике
  • 50+ проектов под ключ
  • Собственные сайты в конкурентных нишах
  • SEO для ru/et/en в одной выдаче
Подробнее обо мне

Выводы

llms.txt задуман для агентов, которые отвечают пользователю, и ИИ-краулеры на моих 839 сайтах ведут себя соответственно: сотни тысяч запросов к robots.txt и sitemap и один к llms.txt. Аудит-инструменты, которые помечают отсутствие файла как ошибку, запрашивают его гораздо чаще любого ИИ-бота. Моё правило простое: для обычного бизнес-сайта не делать файл и не обещать от него результата, для документации разработчиков — делать настоящий, а по этому адресу в любом случае отдавать либо настоящий файл, либо честный 404. Если сервер отвечает там главной страницей или вы хотите понять, что ИИ-боты реально делают на вашем сайте, это часть технического SEO-аудита.

Читать дальше