Aktualisiert am
Die robots.txt ist eine Textdatei im Stammverzeichnis Ihrer Website (example.com/robots.txt). Sie legt fest, welche Bereiche Crawler von Suchmaschinen und anderen Diensten besuchen dürfen und welche nicht.
Aufbau
- User-agent: für welchen Crawler die Regel gilt, * steht für alle
- Disallow: Pfade, die nicht gecrawlt werden sollen
- Allow: Ausnahmen innerhalb gesperrter Bereiche
- Sitemap: Adresse der XML-Sitemap
Beispiel: User-agent: * / Disallow: /wp-admin/ / Sitemap: https://example.com/sitemap_index.xml (jede Angabe in einer eigenen Zeile).
Robots.txt ist nicht noindex
Eine gesperrte Seite kann trotzdem im Index landen, wenn andere Seiten auf sie verlinken. Um eine Seite aus Google herauszuhalten, nutzen Sie noindex und lassen das Crawling zu. Mehr dazu unter Indexierung.
KI-Crawler
Über die robots.txt können Sie auch KI-Crawler wie GPTBot (OpenAI), ClaudeBot (Anthropic) oder Google-Extended steuern. Wer in KI-Antworten erscheinen will, sollte sie nicht pauschal sperren, siehe GEO.
Digitalman prüft robots.txt und Crawling Ihrer Website, mehr dazu auf der Seite Onpage SEO.
Digitalman hilft
Soll Ihre Website technisch sauber für Google sein?
Wir prüfen Indexierung, Struktur, Ladezeit und Inhalte und setzen die Korrekturen direkt um. Die ersten 60 Minuten Beratung sind kostenlos.