robots.txt-Generator
Erstellen Sie eine gültige robots.txt-Datei in Sekunden. Vorlage wählen, Regeln anpassen, live prüfen und herunterladen.
robots.txt Generator erstellt gültige robots.txt-Dateien in Sekunden mit Voreinstellungen für leer, alles erlauben, alles verbieten, WordPress, Shopify, Ghost und Blockieren von KI-Crawlern (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Amazonbot). Eigene User-Agent-Regeln und Sitemap-URLs mit Live-Vorschau. Kopieren oder herunterladen. Entwickelt von FreeToolHub.
Viele KI-Crawler (GPTBot, ClaudeBot, PerplexityBot usw.) respektieren robots.txt freiwillig, einige ignorieren sie jedoch. Für stärkeren Schutz kombinieren Sie robots.txt mit serverseitigen Sperren oder dem X-Robots-Tag HTTP-Header.
User-Agent-Regeln
Sitemaps
Häufig gestellte Fragen
Was ist eine robots.txt-Datei?
Eine robots.txt-Datei teilt Suchmaschinen-Crawlern mit, welche Teile Ihrer Website sie aufrufen dürfen und welche nicht. Sie liegt im Stammverzeichnis Ihrer Domain und ist die erste Datei, die die meisten Crawler beim Besuch abrufen.
Wo soll ich meine robots.txt-Datei platzieren?
Sie muss im Stammverzeichnis Ihrer Domain liegen — zum Beispiel https://example.com/robots.txt. Speicherorte in Unterverzeichnissen werden ignoriert. Jede Subdomain benötigt eine eigene robots.txt (z. B. ist blog.example.com/robots.txt unabhängig von example.com/robots.txt).
Was ist der Unterschied zwischen Allow und Disallow?
Disallow weist einen Crawler an, die aufgeführten Pfade nicht abzurufen. Allow erlaubt explizit Pfade, die sonst mit einer Disallow-Regel übereinstimmen würden — nützlich für Ausnahmen. Eine leere Disallow:-Zeile bedeutet, dass alles erlaubt ist.
Wie blockiere ich KI-Crawler beim Scrapen meiner Website?
Verwenden Sie die Vorlage KI-Crawler blockieren oben. Sie fügt Disallow: /-Regeln für GPTBot, ClaudeBot, CCBot, PerplexityBot, Google-Extended, Amazonbot und weitere große KI-Trainings-Crawler hinzu. Hinweis: Nicht alle KI-Bots respektieren robots.txt — kombinieren Sie sie mit serverseitigen Sperren für stärkeren Schutz.
Kann robots.txt eine Suchmaschine vollständig daran hindern, meine Seiten zu indexieren?
Nein. robots.txt steuert das Crawling, nicht die Indexierung. Eine in robots.txt gesperrte Seite kann weiterhin in Suchergebnissen erscheinen, wenn andere Seiten auf sie verweisen. Um die Indexierung zu verhindern, verwenden Sie stattdessen ein noindex-Meta-Tag oder einen HTTP-Header.
Brauche ich eine robots.txt-Datei, wenn alles gecrawlt werden soll?
Nein. Wenn Sie keine robots.txt-Datei haben, gehen Crawler davon aus, dass alles erlaubt ist. Eine robots.txt ist nur erforderlich, wenn Sie den Zugriff einschränken oder Crawler auf Ihre Sitemap hinweisen möchten.
Wie teste ich, ob meine robots.txt funktioniert?
Laden Sie die Datei in das Stammverzeichnis Ihrer Domain hoch und rufen Sie ihredomain.de/robots.txt im Browser auf. Für tiefergehende Tests verwenden Sie den robots.txt-Tester der Google Search Console oder die Bing Webmaster Tools. Sie zeigen genau, welche URLs für bestimmte Crawler gesperrt oder erlaubt sind.