Lühike vastus
AI-roomajad llms.txt-i peaaegu ei küsi. 839 saidi kuu aja serverilogides tegid IP-kontrolli läbinud AI-robotid 4 301 434 päringut ja täpselt üks neist oli llms-faili kohta: GPTBot, 20. oktoobril 2026, saidil, kus fail tõesti olemas on. Samad robotid küsisid robots.txt-i 278 704 korda ja sitemap'i 355 413 korda.
llms.txt-i päringuid siiski tuleb, kokku 19 031 päringut 781 saidil. Kuid 57% neist tuleb klientidelt, kes nimetavad end SEO-auditi tööriistadeks, ja veel 34% brauserisarnastelt klientidelt. Ning serveri vastus eksitab sageli: minu 838 saidist 544 puhul lõpeb /llms.txt avalehega ja koodiga 200, mida kiirkontroll loeb kui „fail on olemas“.
Edasi: mida fail peaks ettepaneku järgi tegema, kuidas ma lugesin, kes seda tegelikult küsib, koodi 200 lõks ja kuidas oma saiti allpool olevate failidega kontrollida. Video ja failid on inglise keeles.
Mis on llms.txt ja mida ettepanek lubab
llms.txt-i pakkus välja Jeremy Howard saidil llmstxt.org, avaldatud 3. septembril 2024. Kehtiva versiooni v2, mida muudeti 10. augustil 2026, lugesin läbi 8. novembril 2026. See kirjeldab markdown-faili saidi juurkaustas, mis näitab keelemudelile, kus saidi põhisisu asub.
Vorming on lühike, kohustuslik on ainult esimene element:
# Saidi nimi
> Saidi kokkuvõte ühe lõiguna (vabatahtlik)
## Docs
- [Getting started](https://example.com/start): millest leht räägib
- [API reference](https://example.com/api): meetodid ja piirangud
## Optional
- [Changelog](https://example.com/changelog)
SEO jaoks on ettepanekus olulised neli väidet:
- Faili loetakse vajaduse korral, kui agent vajab kasutaja aitamiseks infot.
- Kasu oodatakse peamiselt siis, kui mudel vastab, mitte mudeli treenimisel.
- Positsioone tekst ei luba: sõna „rank“ lehel ei esine.
/llms-full.txt(üks pikk fail kogu tekstiga) on levinud kokkulepe, kuid llmstxt.org-i tekst seda ei määratle.
Faili avaldamine on lihtne. llmstxt.org-i enda andmetel genereerivad seda Yoast, All in One SEO ja Wix; iga tootja juures ma seda eraldi ei kontrollinud. OpenAI, Anthropic ja Google avaldavad oma faili arendajate dokumentatsioonile ning 8. novembril 2026 vastasid kõik kolm koodiga 200 ja tekstiga, mis algab märgiga #. Lighthouse'is on llms.txt-i audit: serveri vea märgib see ära, vastuse 404 aga loeb „mittekohalduvaks“, ja Chrome'i dokumentatsioon nimetab faili praegu vabatahtlikuks.
Fail on seega praktikas olemas, WordPressi pluginatest kuni kolme AI-labori arendajate dokumentatsioonini. Saidi omanikule on tähtis muu: kes seda tegelikult küsib.
Kuidas ma lugesin: 839 saiti ja IP-kontroll ametlike nimekirjade järgi
Mul on 839 saiti neljas serveris, mitmes riigis ja mitmes keeles, enamasti väikesed ja enamasti Euroopas ning lähiriikides. See ei ole suurte saitide uuring, selle piirangu juurde tulen lõpus tagasi.
| Näitaja | Väärtus |
|---|---|
| Ajavahemik | 9. oktoober – 8. november 2026, 31 päeva (keskmiselt 29,4 päeva logisid saidi kohta) |
| Päringuid logides | 113 780 902 |
| IP järgi kontrollitud robotid | Google, Bing, Apple, OpenAI, Perplexity, Anthropic: 2 585 avaldatud vahemikku, seis 8. novembril 2026 |
| Päringud AI-roboti nimega, aga IP väljaspool tema nimekirja | 1 606 546, eraldi hunnikus |
| Saidid Cloudflare'i taga | 784 saiti 838-st; 774 puhul tuli testpäring tagasi päisega cf-cache-status: DYNAMIC, ehk jõudis serverini |
Numbrite ausus toetus kolmele reeglile.
- User agent on lihtsalt tekst. Roboti nime usun ainult siis, kui tema IP kuulub operaatori avaldatud vahemikku. „GPTBot“ tundmatult aadressilt läheb eraldi hunnikusse.
- Oma kontrollid on välja arvatud. 8. novembril küsis minu kontrollskript igalt minu saidilt
/llms.txtja/llms-full.txtfaili ning sattus ajavahemiku viimasesse päeva. Lugesin serverilogide järgi üle ja eemaldasin selle 1 536 päringut. - Kõik on loetud kaks korda. Esimest korda minu klassifikaatoriga, teist korda tavaliste
zcatjagrepkäskudega samade logide peal. Mõlemad leidsid sama ainsa AI-roboti päringu llms-failile.
Üldise meetodi, kuidas AI-roomajate liiklust oma logides lugeda, kirjeldasin artiklis serverilogide analüüs: AI-robotid vs Googlebot.
Kinnitatud IP-ga AI-robotid: robots.txt ja sitemap jah, llms.txt üks kord
AI-robotid on nendel saitidel aktiivsed. Kinnitatud päringud jõudsid 783 saidile 839-st:
| Robot (IP kinnitatud) | Päringuid | Mis see on |
|---|---|---|
| ClaudeBot | 2 282 554 | Anthropicu roomaja |
| GPTBot | 1 150 298 | OpenAI roomaja |
| OAI-SearchBot | 497 797 | OpenAI otsinguroomaja |
| PerplexityBot | 344 698 | Perplexity roomaja |
| ChatGPT-User | 18 105 (197 saiti) | avab lehe, kui inimene ChatGPT-lt küsib |
| Claude-SearchBot | 6 652 | Anthropicu otsinguroomaja |
| Claude-User | 1 330 (476 saiti) | avab lehe, kui inimene Claude'ilt küsib |
| Kokku | 4 301 434 |
Et näha, kas need 4,3 mln päringut üldse teenindusfaile otsivad, võtsin kontrolliks robots.txt-i ja sitemap'i:
| Mida samad robotid küsisid | Päringuid |
|---|---|
| robots.txt | 278 704 |
| sitemap-failid | 355 413 |
| muud URL-id | 3 667 316 |
| llms.txt, llms-full.txt, /.well-known/llms.txt | 1 |
Faile, mis roomamist juhivad, robotid otsivad. llms.txt-i mitte. Ainus erand on GPTBot 20. oktoobril 2026, vastus 200, ühel kahest saidist, kus fail päriselt olemas on. Neil kahel saidil tegid kinnitatud AI-robotid kuu jooksul 4 597 päringut ja neist üks oli faili kohta.
1,6 mln päringust koosnev hunnik, mis ainult nimetab end AI-robotiks, ei küsinud llms-faile kordagi. Kes siin roboti nime võltsis, seda fail samuti ei huvitanud.
Sõltumatu Ahrefsi uuring, avaldatud 15. juunil 2026, hõlmas 137 210 domeeni Ahrefs Web Analyticsist mai 2026 kohta: umbes 38 000 kehtivast llms.txt-failist 97% ei saanud kuu jooksul ühtegi päringut. Autorid märgivad ise, et nende kliendid on tehnilisemad ja SEO-teadlikumad kui veeb keskmiselt. Minu valim on teine, 839 oma saiti ja nende serverilogid, kuid järeldus on sama: AI-roomajad seda faili peaaegu ei küsi.
Kes llms.txt-i tegelikult küsib
Kõigi saitide peale kogunes minu kontrollskriptita 19 031 llms-failide päringut umbes 3 250 IP-aadressilt 781 saidil:
| Tee | Päringuid |
|---|---|
/llms.txt | 17 953 |
/.well-known/llms.txt | 584 |
/llms-full.txt | 493 |
/en/llms.txt | 1 |
Küsitakse niisiis peaaegu igalt saidilt. Aga kes küsib:
| Kliendi klass | Päringuid | Osakaal |
|---|---|---|
| user agent nimetab SEO-auditi tööriista | 10 909 | 57,3% |
| tavaline brauseri string | 6 432 | 33,8% |
| muud robotid (nimes bot, crawler, spider, scan) | 1 514 | 8,0% |
| kõik ülejäänu | 175 | 0,9% |
| IP järgi kinnitatud AI-robot | 1 | alla 0,1% |
Üksainus SEO-tööriist saatis 10 909-st selle klassi päringust 8 526, ehk 78%. Klass määratakse user agenti, mitte IP järgi, seega need kliendid ainult „nimetavad end“ SEO-tööriistaks. Minu tõlgendus: llms.txt on muutunud reaks auditi kontrollnimekirjas. Mõni auditi tööriist tõepoolest näitab puuduvat llms.txt-i oma aruandes probleemina. Minu kliendid sellist rida ei näe, sest tööriistas, millega ma neile auditit teen, seda pole.
Neid 6 432 brauserisarnast päringut ei saa ma jagada inimesteks ja skriptideks. Sülearvutist töötav arendaja agent saadab samuti tavalise välimusega päringu sellest arvutist, nii et osa sellest klassist võib olla just see kasutus, mida ettepanek kirjeldab.
Mida nad vastuseks said? 13 085 päringut (68,8%) suunati koodiga 301 ümber, 5 422 (28,5%) said 404, 211 said 307, 42 said 302 ja ainult 207 (1,1%) said koodi 200. Aga ka need 207 ei ole enamasti fail: kaks saiti, kus fail on, said 72 llms-failide päringut mis tahes koodiga, seega vähemalt 135 vastust 207-st koodiga 200 andsid saidid, kus faili pole.
Koodi 200 lõks: leht, mis näeb välja nagu fail
Tavaline kiirkontroll „kas saidil on llms.txt“ vaatab vastusekoodi. Märgataval osal saitidest eksib see, sest paljud serverid vastavad tundmatule aadressile lehe ja koodiga 200 või suunavad esmalt avalehele.
- novembril 2026 küsisin
/llms.txtfaili kõigilt oma 838 saidilt, järgides kuni kolme ümbersuunamist:
| Tulemus | Saite |
|---|---|
| päris fail | 2 |
| HTML-leht koodiga 200 (pärast 301 avalehele) | 544 |
| 404 | 245 |
| viga või vastust pole | 47 |
Ainult koodi järgi kontroll loeks failiga saite 546. Tegelikult on neid kaks.
Sama kontroll 28 suurel avalikul saidil samal päeval, üks päring faili kohta, user agentiga ADLAB-research (+https://adlab.ee):
| Klass | /llms.txt | Saidid |
|---|---|---|
| real | 3 | Bloomberg, GitHub, Shopify |
| html200 | 2 | Reddit vastab 200 ja tavalise lehega; Forbes suunab nõusolekulehele |
| 404 | 17 | uudiste-, kaubandus- ja teatmesaidid |
| blocked või error | 6 | 401, 403, 202 või ajalõpp: selle kliendiga ei saa mõõta |
22 saidist, mida sain mõõta, on päris fail kolmel, ehk 14%. /llms-full.txt on päris GitHubil ja Shopifyl. Kõik kolm päris faili algavad H1 ja kokkuvõtte tsitaadiplokiga. Bloombergi fail oli 48 790 baiti, 27 H2-jaotist ja 141 linki, GitHubil 28 658 baiti ja 117 linki, Shopifyl 12 801 baiti ja 72 linki.
Mõõtmine ise osutus hapraks ja see on omaette õppetund. Samade 28 saidi kolm kontrolli 8. ja 9. novembril andsid erinevaid vastuseid:
- Esimene läbimine leidis kaks päris faili, mitte kolm: Bloomberg talle ei vastanud. Teine, sõltumatult kirjutatud teostus leidis kõik kolm.
- Ristkontroll curliga kohe pärast skripti langes kokku 51 vastuses 56-st. Bloomberg andis faili kell 21:47 UTC ja umbes neli minutit hiljem 403. Üks suur uudistesait vastas HTTP/2 kaudu lehega koodiga 200, HTTP/1.1 kaudu aga 404-ga.
- Kordus 9. novembril langes kokku 53 vastuses 56-st; Bloomberg vastas terve päeva 403.
Seega on üks kontroll ajatempliga andmepunkt, mitte otsus. Sama kehtib robots.txt-i kohta, kus vastus 200 HTML-lehega samuti vaikselt reeglid ära lõhub; seda juhtumit käsitlesin artiklis selle kohta, mida Google teeb, kui robots.txt annab ümbersuunamise, 404 või 5xx.
Kuidas oma llms.txt-i kahe minutiga kontrollida
llms.txt-i kontrollskript on üks Pythoni fail (Python 3.8 või uuem), pakette pole vaja. See küsib /llms.txt ja /llms-full.txt faili, loeb vastuse sisu ja määrab sellele klassi:
| Klass | Reegel |
|---|---|
real | 200, sisu ei ole HTML, tekst algab märgiga # |
html200 | 200, aga sisu on veebileht: pehme 404, nõusolekuleht, avaleht |
404 | 404 või 410 |
blocked | 401, 403, 202, 429 või ümbersuunamine blokeerimislehele: ei saa mõõta |
error | HTTP vastust pole: DNS, TLS, ajalõpp, üle kolme ümbersuunamise |
other | 200, mis pole HTML ega markdown, tühi sisu, 5xx |
Käivitamine:
python3 check_llms_txt.py --selftest
python3 check_llms_txt.py example.com
python3 check_llms_txt.py sites.txt --out result.csv
python3 check_llms_txt.py --file llms.txt
Viimane rida kontrollib mustandit enne avaldamist. Klassi real puhul ütleb skript ka, kas esimene rida on H1, kas on kokkuvõtte tsitaadiplokk ning mitu H2-jaotist ja linki failis on. Ühe domeeni kontroll võtab umbes 5 sekundit; 28 suure saidi loend umbes 4 minutit, sest päringute vahel on 2-sekundiline paus. 28 saidi andmestik on ülal kirjeldatud mõõtmise CSV: iga vastuse klass, kood, sisu tüüp ja suurus.
Kontrolli teine pool on teie logid. llms.txt-i logiaruanne on SQL-lisa minu serverilogide auditi komplektile. See jagab faili kolme aadressi päringud seitsmeks kliendiliigiks: kinnitatud IP-ga AI-robot, roboti nimi võõralt IP-lt, avaldatud nimekirjata AI-robot (Meta, Amazon, ByteDance, Common Crawl), otsingumootori robot, SEO-tööriist, brauser, skript. Kõrval on kontroll: samad kliendid robots.txt-i ja sitemap'i peal. 1 127 reaga sünteetilisel näidislogil jookseb aruanne pärast komplekti käivitamist 0,2 sekundiga.
Kui on vaja ainult kiiret loendust ilma komplektita, loeb see rida nginxi või Apache'i combined-vormingus logides päringud vastusekoodi ja kliendi nime järgi ega näita külastajate IP-sid:
grep -hE '"GET /(llms\.txt|llms-full\.txt|\.well-known/llms\.txt)(\?[^ ]*)? ' /var/log/nginx/access.log \
| awk -F'"' '{split($3,a," "); print a[1], substr($6,1,50)}' | sort | uniq -c | sort -rn | head -20
Kaks asja tasub arvestada. Andke komplektile oma serveri ja monitooringu IP-d, muidu loetakse teie kontrollid klientideks, nagu minu omad 8. novembril. Ja kui CDN vastab /llms.txt päringule vahemälust (Cloudflare'is cf-cache-status: HIT), ei jõua need päringud teie logisse.
Logipool ei sobi saitidele, mis üldse access-logisid ei kirjuta, näiteks Vercelis või Cloudflare Workersis, ega logidele, mis pole nginxi või Apache'i combined-vormingus, kuni komplektis pole neile eraldi parserit.
Kuidas koostada llms.txt sitemap'ist AI-agendi abil
Kui otsustate faili avaldada, juhatab prompt Claude Code'ile või Codexile terminaliga agendi läbi seitsme sammu: viis küsimust teile, kontroll, mida /llms.txt praegu vastab, mustand sitemap'ist, vormingu kontroll, teie ülevaatus, teie üleslaadimine ja logikäsk järgmiseks 30 päevaks.
Mustandit saab usaldada tänu neljale reeglile:
- Midagi ei mõelda välja. Iga pealkiri ja kirjeldus kopeeritakse lehelt endalt: title, meta description või H1. Meta descriptionita leht saab paljaslingi ja läheb nimekirja „vajab minult teksti“.
- Ainult indekseeritavad lehed. Lehed, millel on
noindex, ümbersuunamine, mujale näitav canonical või robots.txt-i Disallow, jäetakse välja ja põhjus kirjutatakse failipages.tsv. - Agent ei avalda midagi. Ta ei laadi üles, ei tee commit'i ega deploy'd. Faili paigutate saidi juurkausta teie, tüübiga
text/plainvõitext/markdown, ja agent käivitab siis kontrollskripti uuesti. - Lubadusi ei ole. Prompt keelab agendil väita, et fail parandab positsioone või AI-tsiteerimist.
Samme kontrollisin käsitsi kohalikul 5 lehega testsaidil: 4 läksid mustandisse, noindex-iga leht jäi välja ja üks link jäi kirjelduseta, sest lehel polnud meta descriptionit. Pärast üleslaadimist näitas kontrollskript real, 200, text/plain, 536 baiti. Täielikku agendi läbimängu pole tehtud, seega jälgige esimesi samme ja peatage agent, kui ta kirjutab väljaspool töökausta. Selliseid agendipõhiseid protsesse ehitan klientidele AI-automatiseerimise raames.
Kas llms.txt-i tasub teha: minu seisukoht
See osa on minu arvamus, mitte andmetest tulenev järeldus.
Oma saitidele ma selliseid faile ei tee ja kui kliendid seda paluvad, veenan neid loobuma. Ülaltoodud kontrollis ei anna minu 838 saidist 836 faili välja ja ma ei näe põhjust seda muuta. Tavalise ärisaidi jaoks on see töö ilma mõõdetava tasuvuseta: ei ettepanek ega minu logid anna alust oodata failist roomajate külastusi või positsioone. Minu õigust logid samuti ei tõesta, need näitavad vaid, et roomajad ei küsi.
Ainsa erandi teen arendajate dokumentatsioonile või avalikule API-le. See on täpselt see juhtum, mida ettepanek kirjeldab: programmeerimisagendid loevad dokumentatsiooni vajaduse korral ja faili genereerimine on odav.
Mida iganes otsustate, ärge jätke võltsingut. Aadress peab andma kas päris faili või ausa 404, mitte avalehte koodiga 200. nginxis näeb reegel „fail või 404“ selle ühe aadressi jaoks välja nii:
location = /llms.txt { try_files $uri =404; }
Sisuhaldussüsteemis leidke reegel, mis suunab tundmatud aadressid avalehele, ja jätke see aadress sellest välja. Puuduv fail ei maksa midagi, võltsing aga eksitab iga kontrollskripti ja auditi tööriista, mis seda vaatab. Kui mõelda AI-otsingule laiemalt, tähendavad avaldatud failid vähem kui sisu struktuur, millest kirjutan artiklites generative engine optimization ja AEO vs GEO kohta. AI-roomajad küsivad tegelikult ikka samu sitemap.xml-i ja robots.txt-i.
Mida need andmed öelda ei saa
- Valim on minu oma. 839 enamasti väikest saiti, enamasti Euroopas ja lähiriikides. Suured ja suure liiklusega saidid võivad paista teisiti.
- Päris fail on ainult kahel minu saidil. Kõik, mis puudutab olukorda „isegi kui fail on olemas“, toetub neile kahele.
- Kontrollitud on ainult avaldatud IP-vahemikega robotid. Meta, Amazon ja teised avaliku nimekirjata operaatorid 4,3 mln hulka ei kuulu.
- Arendaja arvutis töötavaid tööriistu eraldi ei näe. Need saadavad päringuid sellest arvutist ja paistavad logis brauseri või skriptina, ning ettepanek nimetab programmeerimisagentide dokumentatsiooni peamiseks kasutusjuhuks.
- Päring ei ole kasutamine ja päringu puudumine ei tõesta, et faili ei kasutata. OpenAI, Anthropicu ega Google'i sisse ma ei näe. Näen seda, mis jõuab minu serveriteni, ega väida, kas llms.txt aitab tsiteerimist või kahjustab seda.
Mida andmed ütlevad: nendel saitidel möödus sel kuul 4,3 mln kinnitatud AI-robotite päringut llms.txt-ist ühe erandiga ning suurema osa faili liiklusest andsid auditi tööriistad. Kui tahate sama pilti oma saidi kohta, teie logide, roomamisandmete ja koodi 200 taha peidetud pehmete 404-de põhjal, lisan selle tehnilisse SEO-auditisse.
