Sinu WordPressi saidi juurkaustas olev robots.txt on tõenäoliselt viimati (kui üldse) muudetud saidi paigaldamise ajal. Vaike-WordPressi robots.txt pole 2008. aastast peale eriti muutunud. 2026. aastal ei ole see vaikimine enam neutraalne, see on strateegiline auk.
Sinu saidil käivad nüüd kolme liiki botid, igaühel oma eesmärk ja oma tagajärjed sinu ärile. Korralik robots.txt käsitleb neid kõiki kolme selgesõnaliselt.
Miks see on nüüd olulisem kui varem?
Veebi algusaegadel lahendas robots.txt ühe olukorra: otsingumootorite roomajad. Luba või keela. Nüansid polnud olulised.
Nüüd käib sinu saidil kolme sorti tehisintellekti bote:
- Õppebotid (Training Bots) koguvad sisu suurte keelemudelite treenimiseks.
- Viitebotid (Citation Bots) tõmbavad sisu reaalajas, et vastata kasutajate küsimustele.
- Agentbotid (Agent Bots) teevad kasutajate eest toiminguid.
Nende kolme suhe sinu ettevõttega on põhimõtteliselt erinev ja kõigi ühtemoodi kohtlemine on viga.
1. aste: õppebotid (Training Bots)
Õppebotid koguvad sinu sisu tehisintellektimudelite ehitamiseks või täiustamiseks. Äriline küsimus on lihtne: kas tahad selles tasuta osaleda?
Mõlemal poolel on mõistlikud argumendid. Kõigi õppebotide keelamine tähendab, et sinu sisu ei kujunda tulevasi tehisintellekti vastuseid, mis piirab sinu mõjuvõimu. Piiranguteta lubamine tähendab, et kingid sisu kommertslikuks tehisintellekti treenimiseks ilma garanteeritud tulemuseta.
Paljud väljaandjad valivad praktilise kompromissi: luba õppebotid nendelt tehisintellektifirmadelt, kelle tooteid tahad mõjutada või kus tahad esineda (OpenAI, Anthropic, Google), ning keela või piira teised.
Peamised tunnused:
- GPTBot: OpenAI õpperobot
- anthropic-ai: Anthropicu õpperobot
- Google-Extended: Google’i tehisintellekti treenimise robot
- CCBot: Common Crawl, mida kasutatakse paljudes avatud tehisintellekti andmekogumites
Piirav lähenemine õppebotidele:
User-agent: GPTBot
Disallow: /private/
Allow: /
User-agent: CCBot
Disallow: /2. aste: viitebotid (Citation Bots)
Viitebotid on otsingusüsteemid. Nad ei treeni tehisintellekti, vaid tõmbavad sisu reaalajas, et koostada vastuseid inimestele, kes otsivad just praegu. Nende keelamine on otsene otsus olla tehisintellekti otsingutulemustes nähtamatu.
Peamised tunnused:
- PerplexityBot: Perplexity AI otsinguandur
- OAI-SearchBot: ChatGPT otsingufunktsioonide robot
- YouBot: You.com otsinguandur
Kui sul pole just erilist põhjust reaalajas tehisintellekti viitamist keelata (näiteks on sinu sisu tellimuspõhine), tahad peaaegu kindlasti, et nendel botidel oleks täielik ligipääs sinu avalikule sisule.
Lubav lähenemine viitebotidele:
User-agent: PerplexityBot
Allow: /
User-agent: OAI-SearchBot
Allow: /3. aste: agentbotid (Agent Bots)
Agentbotid on uusim ja keerulisim kategooria. Need on autonoomsed tehisintellektisüsteemid, mis teevad kasutajate eest toiminguid: sirvivad, ostavad, broneerivad, täidavad vorme. Kasutus on praegu veel piiratud, aga kasvab kiiresti.
Võtmeküsimus on strateegiline: kas tahad, et tehisintellekti agendid saaksid sinu saidil tehinguid teha?
Kui oled e-pood ja kasutaja palub oma tehisintellekti agendil toode osta, tahad peaaegu kindlasti, et agent ostu ka sooritaks. Ostu blokeerimine on saamata jäänud tulu. Sama loogika kehtib, kui sul on broneerimissüsteem, hinnapäringu vorm või mis tahes muu tehinguelement.
Agentbotide tunnused on vähem standardiseeritud kui otsingubotidel, sest valdkond alles areneb. Põhimõte on aga selge: tee selgesõnalisi otsuseid, mitte ei eelda, et vaikimine on vastus.
llms.txt ja robots.txt: mis vahe on?
robots.txt ütleb botidele, kuhu nad ligi pääsevad. llms.txt (uus tärkav standard, mis asub aadressil sinudomeen.ee/llms.txt) ütleb tehisintellektisüsteemidele, mis sinu sisust on tegelikult kõige olulisem. Põhimõtteliselt on see kureeritud register sinu parimast materjalist, mis on tehisintellektile arusaadavaks tehtud.
robots.txt on lubade fail, llms.txt on soovituste fail. See loetleb sinu autoriteetseimad lehed, tähtsaimad definitsioonid ja põhisisu tehisintellektile sobivas vormingus.
Mitu WordPressi pluginat loob ja uuendab llms.txt-faili nüüd automaatselt, kui midagi avaldad. Tee vähemalt staatiline versioon, mis viitab sinu tähtsaimatele lehtedele ja enim viidatavale sisule.
Kuidas robots.txt samm-sammult seadistada
- Vaata üle praegune robots.txt aadressil sinudomeen.ee/robots.txt. Pane tähele, kas seal on tehisintellektiga seotud juhiseid. Enamikul WordPressi saitidest ei ole.
- Otsusta oma õppehoiak. Kas lubad peamised tehisintellekti õpperoomajad, piirad need teatud lõikudega või keelad need? Universaalselt õiget vastust pole, see sõltub sinu sisustrateegiast ja ärimudelist.
- Luba viitebotid selgesõnaliselt. Kui sinu sisu pole tasuseina taga, luba PerplexityBoti, OAI-SearchBoti ja teiste viiteroomajate ligipääs avalikule sisule. Nende blokeerimine blokeerib nähtavuse tehisintellekti otsingus.
- Mõtle oma agendistrateegia läbi. Kui sul on tehingulehti, otsusta, kas tahad, et tehisintellekti agendid seal toiminguid teeksid, ja seadista vastavalt.
- Loo või genereeri llms.txt, mis osutab sinu viidatavaimale sisule.
- Vaata üle kord kvartalis. See valdkond areneb kiiresti. Uusi botide tunnuseid ilmub regulaarselt. See, mis on täna täpne, võib poole aasta pärast olla poolik.
Ka vaikeseade on otsus
Kui su robots.txt ei ütle tehisintellekti botide kohta midagi, ei ole sa valikust pääsenud. Sa oled selle lihtsalt passiivselt ära teinud. Õppebotid kraabivad sinu sisu ilma selgesõnalise loata. Viitebotid ei pruugi seda kasutada. Agentbotidel puudub juhis.
Maastikul, kus tehisintellekti otsing on üha suurem osa sellest, kuidas sinu potentsiaalsed kliendid infot leiavad ja otsuseid teevad, on sinu domeeni juures oleva tekstifaili seadistamine päris strateegiline küsimus.
Tee sellest läbimõeldud küsimus. robots.txt on üks kahest kriitilisest tehnilisest signaalist tehisintellekti leitavuse jaoks. Teine on täielik struktureeritud andmestik. Mõlemat käsitletakse WordPressi tehisintellektivalmiduse 4-nädalase plaani (LINK: 4-nädalane WordPressi tehisintellektivalmiduse plaan) teisel nädalal ja mõlemad kuuluvad laiemasse meeskondadeülesesse tehisintellektistrateegiasse (LINK: Kuidas panna sisu-, PR- ja arendusmeeskond tehisintellekti nähtavuse nimel koos töötama), mis muudab tehnilise töö püsivaks nähtavuseks.
Korduma kippuvad küsimused
Mis on robots.txt ja miks see tehisintellekti ajastul oluline on?
robots.txt on domeeni juurkaustas asuv tekstifail, mis ütleb botidele, millisele sisule neil on ligipääs. Tehisintellekti ajastul on see strateegiline tööriist, sest sellega juhid, kuidas tehisintellekti botid sinu sisu õppeks, viideteks ja toiminguteks kasutavad.
Millised tehisintellekti botide tüübid on olemas?
Kolm peamist: õppebotid koguvad sisu keelemudelite treenimiseks (nt GPTBot, CCBot), viitebotid tõmbavad sisu reaalajas kasutajate küsimustele vastamiseks (nt PerplexityBot, OAI-SearchBot) ja agentbotid teevad kasutaja nimel toiminguid.
Kas tehisintellekti botid tasub keelata või lubada?
See sõltub sinu eesmärkidest. Viitebotid tasub tavaliselt lubada, sest nende keelamine teeb sind tehisintellekti otsingus nähtamatuks. Õppebotide puhul lubavad paljud need firmadelt, kelle toodetes tahetakse nähtav olla, ja piiravad teisi. Agentbotid tasub lubada, kui saidil tehakse oste või broneeringuid.
Mis on llms.txt ja kuidas see robots.txt-ist erineb?
robots.txt on lubade fail, mis ütleb, kuhu botid pääsevad. llms.txt on soovituste fail, mis ütleb tehisintellektile, mis sinu sisust on kõige tähtsam. See loetleb sinu autoriteetseimad lehed ja tähtsaimad definitsioonid tehisintellektile kasutamiseks. Paljud WordPressi pluginad loovad selle automaatselt.
Mis juhtub, kui ma robots.txt-i tehisintellekti botide jaoks ei seadista?
Tegemata jätmine on samuti otsus. Siis võivad õppebotid sinu sisu ilma selgesõnalise loata koguda, viitebotid ei pruugi seda kasutada ja agentbotidel puudub juhis. Passiivne vaikeseade jätab sinu tehisintellekti nähtavuse juhuse hooleks.