Arutame projekti

llms.txt: kas ChatGPT ja Claude robotid seda küsivad?

Kuu jooksul tegid IP järgi kinnitatud AI-robotid 839 saidil 4,3 mln päringut ja küsisid llms.txt-i üks kord. Kes faili küsib ja kuidas oma faili kontrollida.

Vladislav Krivorutško — ADLABi asutaja
Vladislav Krivorutško

9. november 2026 · 18 min lugemist

Video on inglise keeles, kanal ADLAB. Ava YouTube'is

Sisukord
  1. 01Lühike vastus
  2. 02Mis on llms.txt ja mida ettepanek lubab
  3. 03Kuidas ma lugesin: 839 saiti ja IP-kontroll ametlike nimekirjade järgi
  4. 04Kinnitatud IP-ga AI-robotid: robots.txt ja sitemap jah, llms.txt üks kord
  5. 05Kes llms.txt-i tegelikult küsib
  6. 06Koodi 200 lõks: leht, mis näeb välja nagu fail
  7. 07Kuidas oma llms.txt-i kahe minutiga kontrollida
  8. 08Kuidas koostada llms.txt sitemap'ist AI-agendi abil
  9. 09Kas llms.txt-i tasub teha: minu seisukoht
  10. 10Mida need andmed öelda ei saa
  11. Kontrollige ennast
  12. Materjalid videost

TL;DR — lühidalt peamisest

  1. 1839 saidi serverilogides (9. oktoober – 8. november 2026) tegid IP järgi kinnitatud AI-robotid 4 301 434 päringut. Neist üks oli llms.txt-i kohta, robots.txt-i kohta 278 704 ja sitemap'i kohta 355 413
  2. 2Kõik 19 031 llms-failide päringut tulid peamiselt klientidelt, kes nimetavad end SEO-tööriistadeks (57%), ja brauserisarnastelt klientidelt (34%); üksainus tööriist andis 78% SEO-tööriistade päringutest
  3. 3Kood 200 ei tõenda, et fail on olemas: minu 838 saidist 544 puhul lõpeb /llms.txt päring avalehega ja koodiga 200, ning 22 suurest saidist, mida sain mõõta, on päris fail kolmel
  4. 4Päris llms.txt on lihttekst, mille esimene rida on markdown-pealkiri. Kui faili pole, peab aadress vastama ausa 404-ga, mitte avalehega
  5. 5Logid näitavad, kes küsis, aga mitte seda, kas fail aitab tsiteerimist või positsioone. Tavalistele ärisaitidele ma neid faile ei tee; arendajate dokumentatsiooni ja API puhul on see odav erand

Lühike vastus

AI-roomajad llms.txt-i peaaegu ei küsi. 839 saidi kuu aja serverilogides tegid IP-kontrolli läbinud AI-robotid 4 301 434 päringut ja täpselt üks neist oli llms-faili kohta: GPTBot, 20. oktoobril 2026, saidil, kus fail tõesti olemas on. Samad robotid küsisid robots.txt-i 278 704 korda ja sitemap'i 355 413 korda.

llms.txt-i päringuid siiski tuleb, kokku 19 031 päringut 781 saidil. Kuid 57% neist tuleb klientidelt, kes nimetavad end SEO-auditi tööriistadeks, ja veel 34% brauserisarnastelt klientidelt. Ning serveri vastus eksitab sageli: minu 838 saidist 544 puhul lõpeb /llms.txt avalehega ja koodiga 200, mida kiirkontroll loeb kui „fail on olemas“.

Edasi: mida fail peaks ettepaneku järgi tegema, kuidas ma lugesin, kes seda tegelikult küsib, koodi 200 lõks ja kuidas oma saiti allpool olevate failidega kontrollida. Video ja failid on inglise keeles.

Mis on llms.txt ja mida ettepanek lubab

llms.txt-i pakkus välja Jeremy Howard saidil llmstxt.org, avaldatud 3. septembril 2024. Kehtiva versiooni v2, mida muudeti 10. augustil 2026, lugesin läbi 8. novembril 2026. See kirjeldab markdown-faili saidi juurkaustas, mis näitab keelemudelile, kus saidi põhisisu asub.

Vorming on lühike, kohustuslik on ainult esimene element:

# Saidi nimi

> Saidi kokkuvõte ühe lõiguna (vabatahtlik)

## Docs

- [Getting started](https://example.com/start): millest leht räägib
- [API reference](https://example.com/api): meetodid ja piirangud

## Optional

- [Changelog](https://example.com/changelog)

SEO jaoks on ettepanekus olulised neli väidet:

  1. Faili loetakse vajaduse korral, kui agent vajab kasutaja aitamiseks infot.
  2. Kasu oodatakse peamiselt siis, kui mudel vastab, mitte mudeli treenimisel.
  3. Positsioone tekst ei luba: sõna „rank“ lehel ei esine.
  4. /llms-full.txt (üks pikk fail kogu tekstiga) on levinud kokkulepe, kuid llmstxt.org-i tekst seda ei määratle.

Faili avaldamine on lihtne. llmstxt.org-i enda andmetel genereerivad seda Yoast, All in One SEO ja Wix; iga tootja juures ma seda eraldi ei kontrollinud. OpenAI, Anthropic ja Google avaldavad oma faili arendajate dokumentatsioonile ning 8. novembril 2026 vastasid kõik kolm koodiga 200 ja tekstiga, mis algab märgiga #. Lighthouse'is on llms.txt-i audit: serveri vea märgib see ära, vastuse 404 aga loeb „mittekohalduvaks“, ja Chrome'i dokumentatsioon nimetab faili praegu vabatahtlikuks.

Fail on seega praktikas olemas, WordPressi pluginatest kuni kolme AI-labori arendajate dokumentatsioonini. Saidi omanikule on tähtis muu: kes seda tegelikult küsib.

Kuidas ma lugesin: 839 saiti ja IP-kontroll ametlike nimekirjade järgi

Mul on 839 saiti neljas serveris, mitmes riigis ja mitmes keeles, enamasti väikesed ja enamasti Euroopas ning lähiriikides. See ei ole suurte saitide uuring, selle piirangu juurde tulen lõpus tagasi.

NäitajaVäärtus
Ajavahemik9. oktoober – 8. november 2026, 31 päeva (keskmiselt 29,4 päeva logisid saidi kohta)
Päringuid logides113 780 902
IP järgi kontrollitud robotidGoogle, Bing, Apple, OpenAI, Perplexity, Anthropic: 2 585 avaldatud vahemikku, seis 8. novembril 2026
Päringud AI-roboti nimega, aga IP väljaspool tema nimekirja1 606 546, eraldi hunnikus
Saidid Cloudflare'i taga784 saiti 838-st; 774 puhul tuli testpäring tagasi päisega cf-cache-status: DYNAMIC, ehk jõudis serverini

Numbrite ausus toetus kolmele reeglile.

  1. User agent on lihtsalt tekst. Roboti nime usun ainult siis, kui tema IP kuulub operaatori avaldatud vahemikku. „GPTBot“ tundmatult aadressilt läheb eraldi hunnikusse.
  2. Oma kontrollid on välja arvatud. 8. novembril küsis minu kontrollskript igalt minu saidilt /llms.txt ja /llms-full.txt faili ning sattus ajavahemiku viimasesse päeva. Lugesin serverilogide järgi üle ja eemaldasin selle 1 536 päringut.
  3. Kõik on loetud kaks korda. Esimest korda minu klassifikaatoriga, teist korda tavaliste zcat ja grep käskudega samade logide peal. Mõlemad leidsid sama ainsa AI-roboti päringu llms-failile.

Üldise meetodi, kuidas AI-roomajate liiklust oma logides lugeda, kirjeldasin artiklis serverilogide analüüs: AI-robotid vs Googlebot.

Kinnitatud IP-ga AI-robotid: robots.txt ja sitemap jah, llms.txt üks kord

AI-robotid on nendel saitidel aktiivsed. Kinnitatud päringud jõudsid 783 saidile 839-st:

Robot (IP kinnitatud)PäringuidMis see on
ClaudeBot2 282 554Anthropicu roomaja
GPTBot1 150 298OpenAI roomaja
OAI-SearchBot497 797OpenAI otsinguroomaja
PerplexityBot344 698Perplexity roomaja
ChatGPT-User18 105 (197 saiti)avab lehe, kui inimene ChatGPT-lt küsib
Claude-SearchBot6 652Anthropicu otsinguroomaja
Claude-User1 330 (476 saiti)avab lehe, kui inimene Claude'ilt küsib
Kokku4 301 434

Et näha, kas need 4,3 mln päringut üldse teenindusfaile otsivad, võtsin kontrolliks robots.txt-i ja sitemap'i:

Mida samad robotid küsisidPäringuid
robots.txt278 704
sitemap-failid355 413
muud URL-id3 667 316
llms.txt, llms-full.txt, /.well-known/llms.txt1
AI-robotite päringud: teenindusfailid ja llms.txtkõik nende robotite päringud4 301 434sitemap-failid355 413robots.txt278 704llms-failid1GPTBot, 20. oktoober 2026110010 tuh1 mlnLogaritmiline skaala: iga joon on ×10
AI-robotite päringud, mille IP kattus operaatori avaldatud nimekirjaga, 839 saiti, 9. oktoober – 8. november 2026. Skaala on logaritmiline: tavalisel skaalal poleks llms.txt-i tulpa näha. Andmed on ülaltoodud tabelitest.

Faile, mis roomamist juhivad, robotid otsivad. llms.txt-i mitte. Ainus erand on GPTBot 20. oktoobril 2026, vastus 200, ühel kahest saidist, kus fail päriselt olemas on. Neil kahel saidil tegid kinnitatud AI-robotid kuu jooksul 4 597 päringut ja neist üks oli faili kohta.

1,6 mln päringust koosnev hunnik, mis ainult nimetab end AI-robotiks, ei küsinud llms-faile kordagi. Kes siin roboti nime võltsis, seda fail samuti ei huvitanud.

Sõltumatu Ahrefsi uuring, avaldatud 15. juunil 2026, hõlmas 137 210 domeeni Ahrefs Web Analyticsist mai 2026 kohta: umbes 38 000 kehtivast llms.txt-failist 97% ei saanud kuu jooksul ühtegi päringut. Autorid märgivad ise, et nende kliendid on tehnilisemad ja SEO-teadlikumad kui veeb keskmiselt. Minu valim on teine, 839 oma saiti ja nende serverilogid, kuid järeldus on sama: AI-roomajad seda faili peaaegu ei küsi.

Kes llms.txt-i tegelikult küsib

Kõigi saitide peale kogunes minu kontrollskriptita 19 031 llms-failide päringut umbes 3 250 IP-aadressilt 781 saidil:

TeePäringuid
/llms.txt17 953
/.well-known/llms.txt584
/llms-full.txt493
/en/llms.txt1

Küsitakse niisiis peaaegu igalt saidilt. Aga kes küsib:

Kliendi klassPäringuidOsakaal
user agent nimetab SEO-auditi tööriista10 90957,3%
tavaline brauseri string6 43233,8%
muud robotid (nimes bot, crawler, spider, scan)1 5148,0%
kõik ülejäänu1750,9%
IP järgi kinnitatud AI-robot1alla 0,1%

Üksainus SEO-tööriist saatis 10 909-st selle klassi päringust 8 526, ehk 78%. Klass määratakse user agenti, mitte IP järgi, seega need kliendid ainult „nimetavad end“ SEO-tööriistaks. Minu tõlgendus: llms.txt on muutunud reaks auditi kontrollnimekirjas. Mõni auditi tööriist tõepoolest näitab puuduvat llms.txt-i oma aruandes probleemina. Minu kliendid sellist rida ei näe, sest tööriistas, millega ma neile auditit teen, seda pole.

Neid 6 432 brauserisarnast päringut ei saa ma jagada inimesteks ja skriptideks. Sülearvutist töötav arendaja agent saadab samuti tavalise välimusega päringu sellest arvutist, nii et osa sellest klassist võib olla just see kasutus, mida ettepanek kirjeldab.

Mida nad vastuseks said? 13 085 päringut (68,8%) suunati koodiga 301 ümber, 5 422 (28,5%) said 404, 211 said 307, 42 said 302 ja ainult 207 (1,1%) said koodi 200. Aga ka need 207 ei ole enamasti fail: kaks saiti, kus fail on, said 72 llms-failide päringut mis tahes koodiga, seega vähemalt 135 vastust 207-st koodiga 200 andsid saidid, kus faili pole.

Koodi 200 lõks: leht, mis näeb välja nagu fail

Tavaline kiirkontroll „kas saidil on llms.txt“ vaatab vastusekoodi. Märgataval osal saitidest eksib see, sest paljud serverid vastavad tundmatule aadressile lehe ja koodiga 200 või suunavad esmalt avalehele.

  1. novembril 2026 küsisin /llms.txt faili kõigilt oma 838 saidilt, järgides kuni kolme ümbersuunamist:
TulemusSaite
päris fail2
HTML-leht koodiga 200 (pärast 301 avalehele)544
404245
viga või vastust pole47

Ainult koodi järgi kontroll loeks failiga saite 546. Tegelikult on neid kaks.

Mida vastab /llms.txt 838 saidil/llms.txt minu 838 saidil544245544 saiti301avaleht200 + HTMLkoodi järgi nagu fail: pehme 404245 saiti404aus vastus: faili pole2 saiti200tekst „# …“päris fail47 saitiviga või vastust poleAinult koodi järgi: „failiga“546Päris fail2
Vastus päringule /llms.txt, järgides kuni kolme ümbersuunamist, minu 838 saiti, mõõdetud 8. novembril 2026.

Sama kontroll 28 suurel avalikul saidil samal päeval, üks päring faili kohta, user agentiga ADLAB-research (+https://adlab.ee):

Klass/llms.txtSaidid
real3Bloomberg, GitHub, Shopify
html2002Reddit vastab 200 ja tavalise lehega; Forbes suunab nõusolekulehele
40417uudiste-, kaubandus- ja teatmesaidid
blocked või error6401, 403, 202 või ajalõpp: selle kliendiga ei saa mõõta

22 saidist, mida sain mõõta, on päris fail kolmel, ehk 14%. /llms-full.txt on päris GitHubil ja Shopifyl. Kõik kolm päris faili algavad H1 ja kokkuvõtte tsitaadiplokiga. Bloombergi fail oli 48 790 baiti, 27 H2-jaotist ja 141 linki, GitHubil 28 658 baiti ja 117 linki, Shopifyl 12 801 baiti ja 72 linki.

Mõõtmine ise osutus hapraks ja see on omaette õppetund. Samade 28 saidi kolm kontrolli 8. ja 9. novembril andsid erinevaid vastuseid:

  • Esimene läbimine leidis kaks päris faili, mitte kolm: Bloomberg talle ei vastanud. Teine, sõltumatult kirjutatud teostus leidis kõik kolm.
  • Ristkontroll curliga kohe pärast skripti langes kokku 51 vastuses 56-st. Bloomberg andis faili kell 21:47 UTC ja umbes neli minutit hiljem 403. Üks suur uudistesait vastas HTTP/2 kaudu lehega koodiga 200, HTTP/1.1 kaudu aga 404-ga.
  • Kordus 9. novembril langes kokku 53 vastuses 56-st; Bloomberg vastas terve päeva 403.

Seega on üks kontroll ajatempliga andmepunkt, mitte otsus. Sama kehtib robots.txt-i kohta, kus vastus 200 HTML-lehega samuti vaikselt reeglid ära lõhub; seda juhtumit käsitlesin artiklis selle kohta, mida Google teeb, kui robots.txt annab ümbersuunamise, 404 või 5xx.

Kuidas oma llms.txt-i kahe minutiga kontrollida

llms.txt-i kontrollskript on üks Pythoni fail (Python 3.8 või uuem), pakette pole vaja. See küsib /llms.txt ja /llms-full.txt faili, loeb vastuse sisu ja määrab sellele klassi:

KlassReegel
real200, sisu ei ole HTML, tekst algab märgiga #
html200200, aga sisu on veebileht: pehme 404, nõusolekuleht, avaleht
404404 või 410
blocked401, 403, 202, 429 või ümbersuunamine blokeerimislehele: ei saa mõõta
errorHTTP vastust pole: DNS, TLS, ajalõpp, üle kolme ümbersuunamise
other200, mis pole HTML ega markdown, tühi sisu, 5xx

Käivitamine:

python3 check_llms_txt.py --selftest
python3 check_llms_txt.py example.com
python3 check_llms_txt.py sites.txt --out result.csv
python3 check_llms_txt.py --file llms.txt

Viimane rida kontrollib mustandit enne avaldamist. Klassi real puhul ütleb skript ka, kas esimene rida on H1, kas on kokkuvõtte tsitaadiplokk ning mitu H2-jaotist ja linki failis on. Ühe domeeni kontroll võtab umbes 5 sekundit; 28 suure saidi loend umbes 4 minutit, sest päringute vahel on 2-sekundiline paus. 28 saidi andmestik on ülal kirjeldatud mõõtmise CSV: iga vastuse klass, kood, sisu tüüp ja suurus.

Kontrolli teine pool on teie logid. llms.txt-i logiaruanne on SQL-lisa minu serverilogide auditi komplektile. See jagab faili kolme aadressi päringud seitsmeks kliendiliigiks: kinnitatud IP-ga AI-robot, roboti nimi võõralt IP-lt, avaldatud nimekirjata AI-robot (Meta, Amazon, ByteDance, Common Crawl), otsingumootori robot, SEO-tööriist, brauser, skript. Kõrval on kontroll: samad kliendid robots.txt-i ja sitemap'i peal. 1 127 reaga sünteetilisel näidislogil jookseb aruanne pärast komplekti käivitamist 0,2 sekundiga.

Kui on vaja ainult kiiret loendust ilma komplektita, loeb see rida nginxi või Apache'i combined-vormingus logides päringud vastusekoodi ja kliendi nime järgi ega näita külastajate IP-sid:

grep -hE '"GET /(llms\.txt|llms-full\.txt|\.well-known/llms\.txt)(\?[^ ]*)? ' /var/log/nginx/access.log \
  | awk -F'"' '{split($3,a," "); print a[1], substr($6,1,50)}' | sort | uniq -c | sort -rn | head -20

Kaks asja tasub arvestada. Andke komplektile oma serveri ja monitooringu IP-d, muidu loetakse teie kontrollid klientideks, nagu minu omad 8. novembril. Ja kui CDN vastab /llms.txt päringule vahemälust (Cloudflare'is cf-cache-status: HIT), ei jõua need päringud teie logisse.

Logipool ei sobi saitidele, mis üldse access-logisid ei kirjuta, näiteks Vercelis või Cloudflare Workersis, ega logidele, mis pole nginxi või Apache'i combined-vormingus, kuni komplektis pole neile eraldi parserit.

Kuidas koostada llms.txt sitemap'ist AI-agendi abil

Kui otsustate faili avaldada, juhatab prompt Claude Code'ile või Codexile terminaliga agendi läbi seitsme sammu: viis küsimust teile, kontroll, mida /llms.txt praegu vastab, mustand sitemap'ist, vormingu kontroll, teie ülevaatus, teie üleslaadimine ja logikäsk järgmiseks 30 päevaks.

Mustandit saab usaldada tänu neljale reeglile:

  • Midagi ei mõelda välja. Iga pealkiri ja kirjeldus kopeeritakse lehelt endalt: title, meta description või H1. Meta descriptionita leht saab paljaslingi ja läheb nimekirja „vajab minult teksti“.
  • Ainult indekseeritavad lehed. Lehed, millel on noindex, ümbersuunamine, mujale näitav canonical või robots.txt-i Disallow, jäetakse välja ja põhjus kirjutatakse faili pages.tsv.
  • Agent ei avalda midagi. Ta ei laadi üles, ei tee commit'i ega deploy'd. Faili paigutate saidi juurkausta teie, tüübiga text/plain või text/markdown, ja agent käivitab siis kontrollskripti uuesti.
  • Lubadusi ei ole. Prompt keelab agendil väita, et fail parandab positsioone või AI-tsiteerimist.

Samme kontrollisin käsitsi kohalikul 5 lehega testsaidil: 4 läksid mustandisse, noindex-iga leht jäi välja ja üks link jäi kirjelduseta, sest lehel polnud meta descriptionit. Pärast üleslaadimist näitas kontrollskript real, 200, text/plain, 536 baiti. Täielikku agendi läbimängu pole tehtud, seega jälgige esimesi samme ja peatage agent, kui ta kirjutab väljaspool töökausta. Selliseid agendipõhiseid protsesse ehitan klientidele AI-automatiseerimise raames.

Kas llms.txt-i tasub teha: minu seisukoht

See osa on minu arvamus, mitte andmetest tulenev järeldus.

Oma saitidele ma selliseid faile ei tee ja kui kliendid seda paluvad, veenan neid loobuma. Ülaltoodud kontrollis ei anna minu 838 saidist 836 faili välja ja ma ei näe põhjust seda muuta. Tavalise ärisaidi jaoks on see töö ilma mõõdetava tasuvuseta: ei ettepanek ega minu logid anna alust oodata failist roomajate külastusi või positsioone. Minu õigust logid samuti ei tõesta, need näitavad vaid, et roomajad ei küsi.

Ainsa erandi teen arendajate dokumentatsioonile või avalikule API-le. See on täpselt see juhtum, mida ettepanek kirjeldab: programmeerimisagendid loevad dokumentatsiooni vajaduse korral ja faili genereerimine on odav.

Mida iganes otsustate, ärge jätke võltsingut. Aadress peab andma kas päris faili või ausa 404, mitte avalehte koodiga 200. nginxis näeb reegel „fail või 404“ selle ühe aadressi jaoks välja nii:

location = /llms.txt { try_files $uri =404; }

Sisuhaldussüsteemis leidke reegel, mis suunab tundmatud aadressid avalehele, ja jätke see aadress sellest välja. Puuduv fail ei maksa midagi, võltsing aga eksitab iga kontrollskripti ja auditi tööriista, mis seda vaatab. Kui mõelda AI-otsingule laiemalt, tähendavad avaldatud failid vähem kui sisu struktuur, millest kirjutan artiklites generative engine optimization ja AEO vs GEO kohta. AI-roomajad küsivad tegelikult ikka samu sitemap.xml-i ja robots.txt-i.

Mida need andmed öelda ei saa

  • Valim on minu oma. 839 enamasti väikest saiti, enamasti Euroopas ja lähiriikides. Suured ja suure liiklusega saidid võivad paista teisiti.
  • Päris fail on ainult kahel minu saidil. Kõik, mis puudutab olukorda „isegi kui fail on olemas“, toetub neile kahele.
  • Kontrollitud on ainult avaldatud IP-vahemikega robotid. Meta, Amazon ja teised avaliku nimekirjata operaatorid 4,3 mln hulka ei kuulu.
  • Arendaja arvutis töötavaid tööriistu eraldi ei näe. Need saadavad päringuid sellest arvutist ja paistavad logis brauseri või skriptina, ning ettepanek nimetab programmeerimisagentide dokumentatsiooni peamiseks kasutusjuhuks.
  • Päring ei ole kasutamine ja päringu puudumine ei tõesta, et faili ei kasutata. OpenAI, Anthropicu ega Google'i sisse ma ei näe. Näen seda, mis jõuab minu serveriteni, ega väida, kas llms.txt aitab tsiteerimist või kahjustab seda.

Mida andmed ütlevad: nendel saitidel möödus sel kuul 4,3 mln kinnitatud AI-robotite päringut llms.txt-ist ühe erandiga ning suurema osa faili liiklusest andsid auditi tööriistad. Kui tahate sama pilti oma saidi kohta, teie logide, roomamisandmete ja koodi 200 taha peidetud pehmete 404-de põhjal, lisan selle tehnilisse SEO-auditisse.

Test

Kontrollige ennast

Mõned küsimused artikli kohta. Vastus ja selgitus ilmuvad kohe pärast valikut, vastuseid ei saadeta kuhugi.

0/4

vastatud

  1. 1.Kontrollskript näitab, et /llms.txt vastab teie saidil koodiga 200. Mida see ütleb?
  2. 2.Logides on kuu jooksul sadu /llms.txt päringuid. Kes need kõige tõenäolisemalt saatis?
  3. 3.Auditi aruanne märgib tavalisel ärisaidil puuduva llms.txt-i veaks. Mida autor teeb?
  4. 4./llms.txt päring tuleb user agentiga GPTBot, aga IP-lt väljaspool OpenAI avaldatud vahemikke. Kuidas seda lugeda?

ADLAB · failid videost

Materjalid videost

Videos näidatud skriptid, viibad, mallid ja andmed. Failid on inglise keeles: tekstifailid avanevad tavalise tekstina, zip-arhiivis on ühe materjali kõik failid.

  1. 01Skript4 faili · 24 KB · MIT

    llms.txt kontrollija: päris fail või 200-leht, mis ainult näeb selle moodi välja?

    Pythoni skript, ainult standardteek: jagab /llms.txt ja /llms-full.txt vastused klassidesse real, html200, 404, blocked või error ja kontrollib llmstxt.org vormingut.

    Sisu · 4 faili
    • README.md

      Käivitamine 3 sammuga, klasside reeglid, CSV veerud, piirangud

      4.2 KB
    • check_llms_txt.py

      Kontrollija ise: Python 3.8+, ainult standardteek, võrguühenduseta enesetestiga

      16 KB
    • curl_check.sh

      Ristkontroll: samad klassid curli ja shelliga, eraldi kood

      3.1 KB
    • sites.txt

      ADLAB-i andmestiku 28 avalikku domeeni, üks rea kohta

      607 B
  2. 02SQL · Skript4 faili · 253 KB · MIT

    llms.txt teie serverilogides: kes seda pärib ja mida saab

    SQL-lisa log-audit-kitile: loeb llms.txt päringud kinnitatud AI-robotite, võltsnimega robotite, SEO-tööriistade ja brauserite kaupa; robots.txt on kontrolliks.

    Sisu · 4 faili
    • README.md

      Mida on vaja, käivitamine 3 sammuga, jaotised, piirangud

      9.0 KB
    • llms_report.sql

      8 jaotist komplekti enriched.parquet'i peal: kliendi liigi, roboti ja päeva kaupa; robots.txt on kontrolliks

      6.1 KB
    • sample/make_llms_sample.py

      Sünteetilise logi generaator (deterministlik, ainult standardteek)

      10 KB
    • sample/llms.sample.log

      Sünteetiline logi 1 127 reaga example.com jaoks, 7 päeva, llms-päringutega igat liiki klientidelt

      228 KB
  3. 03Andmestik4 faili · 28 KB · CC-BY-4.0

    llms.txt 28 suurel saidil: kes avaldab päris faili (andmed, 2026-11-08)

    28 suurt saiti, kontrollitud 2026-11-08: 3 avaldavad päris /llms.txt-i, 2 vastavad 200 ja veebilehega, 17 annavad 404, 6 ei õnnestunud mõõta. CSV, CC BY 4.0.

    Sisu · 4 faili
    • llms-txt-28-sites.csv

      Üks rida saidi kohta: klass, staatus, sisutüüp, suurus ja llmstxt.org vormingu vastavus failidele /llms.txt ja /llms-full.txt

      5.9 KB
    • check_llms_txt.py

      Python 3.8+, ainult standardteek; kordab mõõtmist (sama fail mis kontrollija materjalis)

      16 KB
    • sites.txt

      28 domeeni, mida päriti

      607 B
    • README.md

      Definitsioonid, veerud, ristkontroll curliga, piirangud

      6.0 KB
  4. 04Viip2 faili · 11 KB · MIT

    Prompt: laske AI-agendil llms.txt üle kontrollida ja sitemapi põhjal mustand koostada

    Prompt Claude Code'ile või Codexile: kontrollib teie /llms.txt-i, koostab sitemapi põhjal mustandi teie enda lehtede tekstist ega avalda midagi.

    Sisu · 2 faili
    • prompt.md

      Prompt, valmis kleepimiseks terminaliga agenti

      9.0 KB
    • README.md

      Kuidas kasutada ja mida kontrollida, enne kui tulemust usaldate

      2.0 KB

Korduma kippuvad küsimused

Mis on llms.txt?
llms.txt on markdown-fail saidi juurkaustas, mille pakkus 2024. aasta septembris llmstxt.org-is välja Jeremy Howard. Selles on loetletud saidi olulisemad lehed lühikeste selgitustega, et keelemudel leiaks need kasutajale vastates üles. Kohustuslik on ainult H1-pealkiri; tsitaadiplokk kokkuvõttega ja H2-jaotised linkide loenditega on vabatahtlikud. See on ettepanek, mitte otsingumootorite heaks kiidetud standard.
Kas GPTBot ja ClaudeBot loevad llms.txt-i?
Minu 839 saidi kuu aja logides tegid AI-robotid, kelle IP kattus operaatori avaldatud nimekirjaga, 4,3 mln päringut ja küsisid llms.txt-i täpselt ühe korra: GPTBot 20. oktoobril 2026 saidil, kus fail on olemas. ClaudeBot tegi 2,28 mln päringut ja mitte ühtegi llms-failide kohta. Samad robotid küsisid robots.txt-i 278 704 korda. See kirjeldab minu valimit, mis koosneb peamiselt väikestest saitidest, mitte kogu veebi.
Kas llms.txt aitab SEO-d ja positsioone Google'is?
Keegi pole seda näidanud. llmstxt.org-i tekst positsioone ei luba, Chrome'i Lighthouse'i dokumentatsioon nimetab faili vabatahtlikuks ja puuduv fail märgitakse seal „ei kohaldu“. Serverilogid näitavad, kes faili küsis, aga mitte seda, kas see muutis tsiteerimist või positsioone, seega ma mingit mõju järjestusele sellest ei oota.
Miks mu llms.txt vastab 200, kuigi ma pole seda loonud?
Enamasti suunab server tundmatud aadressid avalehele või vastab neile tavalise lehe ja koodiga 200, ehk tegemist on pehme 404-ga. Minu 838 saidist 544 puhul lõppes /llms.txt päring avalehega ja koodiga 200. Kontroll, mis vaatab ainult vastusekoodi, loeb selle avaldatud failiks. Lahendus on sellele aadressile aus 404.
Kuidas kontrollida, et minu llms.txt on päris fail?
Küsige /llms.txt-i curli või kontrollskriptiga, mitte brauseri vahekaardil, ja vaadake kolme asja: vastusekoodi, sisu tüüpi ja esimest rida. Päris fail vastab 200, ei ole HTML-leht ja algab markdown-pealkirjaga, näiteks „# Saidi nimi“. Artikli materjalide kontrollskript teeb seda domeenide loendile mõne sekundiga domeeni kohta ja kontrollib ka /llms-full.txt-i.
Kes küsib llms.txt-i, kui mitte AI-robotid?
Minu valimis tuli 19 031 llms-failide päringust 10 909 klientidelt, kelle user agent nimetab SEO-auditi tööriista, ja 6 432 tavalise brauseri stringiga klientidelt, kes võivad olla inimesed või skriptid. Sülearvutis töötavad arendaja tööriistad paistavad logis samuti brauseri või skriptina, sest päring tuleb sellest arvutist, mitte robotite avaldatud IP-vahemikest.
Vladislav Krivorutško — ADLABi asutaja

Artikli autor

Vladislav Krivorutško

ADLAB OÜ asutaja · SEO ja Google Ads

Üle 20 aasta otsiliikluse ja monetiseerimisega, Eesti turul alates 2017. aastast. Töötan üksi: teen auditi, koostan strateegia ja viin projekti ise lõpuni — ilma alltöövõtjate ja šabloonideta. Kirjutan ainult sellest, mida olen oma ja klientide saitidel järele proovinud.

  • 20+ aastat otsiliikluses
  • 50+ projekti võtmed kätte
  • Oma saidid konkurentsitihedates nišides
  • SEO ru/et/en ühes otsingutulemuses
Loe minust lähemalt

Järeldused

llms.txt on mõeldud agentidele, kes vastavad kasutajale, ja AI-roomajad minu 839 saidil käituvad just nii: sadu tuhandeid päringuid robots.txt-ile ja sitemap'ile ning üks llms.txt-ile. Auditi tööriistad, mis märgivad puuduva faili veaks, küsivad seda palju sagedamini kui ükski AI-robot. Minu reegel on lihtne: tavalisel ärisaidil faili ei tee ega lubata sellest tulemust, arendajate dokumentatsioonile teen päris faili ning sel aadressil antakse igal juhul kas päris fail või aus 404. Kui server vastab seal avalehega või tahate teada, mida AI-robotid teie saidil tegelikult teevad, kuulub see tehnilise SEO-auditi juurde.

Loe edasi