robots.txt Generator

Die robots.txt ist eine Textdatei im Stammverzeichnis Ihrer Website, die Suchmaschinen-Crawlern mitteilt, welche Bereiche sie indexieren dürfen und welche nicht. Sie folgt dem Robots Exclusion Standard und wird von allen großen Suchmaschinen unterstützt.

Die Datei muss im Stammverzeichnis (Root) Ihrer Domain liegen, also unter https://www.beispiel.at/robots.txt. Nur dort wird sie von Suchmaschinen automatisch gefunden und ausgelesen.

Ja, Sie können in der robots.txt spezielle User-Agent-Regeln für AI-Crawler setzen. GPTBot (OpenAI), ChatGPT-User, CCBot (Common Crawl), Google-Extended und andere AI-Bots respektieren die robots.txt-Regeln. Verwenden Sie die Vorlage „AI-Bots blockieren" für eine schnelle Konfiguration.

Crawl-delay gibt an, wie viele Sekunden ein Crawler zwischen einzelnen Seitenabrufen warten soll. Dies kann die Serverlast reduzieren. Achtung: Google ignoriert diese Direktive – nutzen Sie dafür die Google Search Console. Bing und andere Suchmaschinen respektieren Crawl-delay.

Eine typische WordPress-robots.txt blockiert den Zugriff auf /wp-admin/ (außer admin-ajax.php), /wp-includes/ und andere sensible Verzeichnisse, während der Rest der Website für Crawler zugänglich bleibt. Verwenden Sie unsere Vorlage „WordPress Standard" als Ausgangsbasis.

Nicht unbedingt. Die robots.txt verhindert, dass Crawler die Seite abrufen – aber wenn andere Seiten dorthin verlinken, kann Google die URL trotzdem im Index zeigen (ohne Inhalt). Um eine Seite vollständig aus dem Index zu entfernen, verwenden Sie zusätzlich das Meta-Tag „noindex".

Wenn keine robots.txt-Datei existiert, gehen Suchmaschinen-Crawler davon aus, dass sie die gesamte Website crawlen dürfen. Der Server gibt dann einen 404-Fehler zurück, was für Crawler bedeutet, dass keine Einschränkungen gelten. Für die meisten Websites ist es dennoch empfehlenswert, eine robots.txt anzulegen, um sensible Bereiche gezielt auszuschließen und die Sitemap-URL bekannt zu machen.

Sie können Ihre robots.txt direkt im Browser unter https://www.ihredomain.at/robots.txt aufrufen, um den Inhalt zu überprüfen. Für eine detaillierte Analyse bietet die Google Search Console einen integrierten robots.txt-Tester, mit dem Sie prüfen können, ob bestimmte URLs blockiert oder erlaubt sind. Auch Bing Webmaster Tools stellt ein ähnliches Validierungswerkzeug bereit.

Die robots.txt kann mit der Regel „User-agent: * / Disallow: /" alle seriösen Bots anweisen, die Website nicht zu crawlen. Allerdings ist die robots.txt lediglich eine freiwillige Vereinbarung – bösartige Bots oder Scraper können sie ignorieren. Für echten Zugriffsschutz benötigen Sie serverseitige Maßnahmen wie Passwortschutz, IP-Blockierung oder eine Firewall.

Disallow in der robots.txt verhindert, dass ein Crawler die betroffene Seite überhaupt abruft – die URL kann aber trotzdem im Index erscheinen, wenn andere Seiten darauf verlinken. Das Meta-Tag „noindex" hingegen wird im HTML-Quellcode der Seite platziert und weist Suchmaschinen explizit an, die Seite nicht in den Index aufzunehmen. Für eine vollständige Entfernung aus dem Index ist „noindex" die zuverlässigere Methode.