« Späť na marketingový slovník

Robots.txt je textový súbor v koreňovom adresári webu (napríklad https://vasweb.sk/robots.txt), ktorý robotom vyhľadávačov a AI nástrojov hovorí, ktoré časti webu môžu prechádzať. Je to prvý súbor, ktorý si slušný robot pri návšteve webu prečíta.

Ako robots.txt funguje?

Súbor obsahuje pravidlá pre jednotlivých robotov. Riadok User-agent určuje, pre koho pravidlo platí (napríklad Googlebot, GPTBot alebo * pre všetkých), Disallow zakazuje prechádzať cestu a Allow ju povoľuje. Na konci sa zvyčajne uvádza aj adresa sitemap.

Príklad robots.txt

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://vasweb.sk/sitemap_index.xml

Tento príklad zakazuje všetkým robotom prechádzať administráciu WordPressu, povoľuje jeden potrebný súbor a ukazuje cestu k sitemap.

Na čo si dať pozor?

  • Robots.txt nezakazuje indexáciu. Stránka zakázaná v robots.txt sa môže objaviť vo výsledkoch, ak na ňu vedú odkazy. Na vyradenie z výsledkov slúži noindex.
  • Nezakazujte CSS a JavaScript: Google ich potrebuje na správne vykreslenie stránky.
  • Pozor na Disallow: /, jeden riadok dokáže zablokovať celý web, čo sa stáva po prenose z testovacej verzie.
  • AI roboty ako GPTBot či ClaudeBot sa dajú povoliť alebo zakázať samostatne. Ak chcete byť v odpovediach AI, nezakazujte ich.

Nastavenie robots.txt aj prístup AI robotov riešime v rámci optimalizácie pre AI vyhľadávanie a on-page SEO.

Či váš robots.txt neblokuje Google ani AI vyhľadávače ako ChatGPT či Perplexity, si overíte v našej bezplatnej SEO a GEO kontrole webu.

Digitalman pomôže

Je váš web pripravený na Google?

Skontrolujeme a upravíme štruktúru, nadpisy, rýchlosť aj technické nastavenia webu. Prvých 60 minút konzultácie je zadarmo.

« Späť na marketingový slovník