Aktualizované
Robots.txt je textový súbor v koreňovom adresári webu (napríklad https://vasweb.sk/robots.txt), ktorý robotom vyhľadávačov a AI nástrojov hovorí, ktoré časti webu môžu prechádzať. Je to prvý súbor, ktorý si slušný robot pri návšteve webu prečíta.
Ako robots.txt funguje?
Súbor obsahuje pravidlá pre jednotlivých robotov. Riadok User-agent určuje, pre koho pravidlo platí (napríklad Googlebot, GPTBot alebo * pre všetkých), Disallow zakazuje prechádzať cestu a Allow ju povoľuje. Na konci sa zvyčajne uvádza aj adresa sitemap.
Príklad robots.txt
User-agent: *Disallow: /wp-admin/Allow: /wp-admin/admin-ajax.phpSitemap: https://vasweb.sk/sitemap_index.xml
Tento príklad zakazuje všetkým robotom prechádzať administráciu WordPressu, povoľuje jeden potrebný súbor a ukazuje cestu k sitemap.
Na čo si dať pozor?
- Robots.txt nezakazuje indexáciu. Stránka zakázaná v robots.txt sa môže objaviť vo výsledkoch, ak na ňu vedú odkazy. Na vyradenie z výsledkov slúži
noindex. - Nezakazujte CSS a JavaScript: Google ich potrebuje na správne vykreslenie stránky.
- Pozor na
Disallow: /, jeden riadok dokáže zablokovať celý web, čo sa stáva po prenose z testovacej verzie. - AI roboty ako GPTBot či ClaudeBot sa dajú povoliť alebo zakázať samostatne. Ak chcete byť v odpovediach AI, nezakazujte ich.
Nastavenie robots.txt aj prístup AI robotov riešime v rámci optimalizácie pre AI vyhľadávanie a on-page SEO.
Či váš robots.txt neblokuje Google ani AI vyhľadávače ako ChatGPT či Perplexity, si overíte v našej bezplatnej SEO a GEO kontrole webu.
Digitalman pomôže
Je váš web pripravený na Google?
Skontrolujeme a upravíme štruktúru, nadpisy, rýchlosť aj technické nastavenia webu. Prvých 60 minút konzultácie je zadarmo.