Kostenloses Tool

robots.txt-Generator

Erstellen Sie die robots.txt-Datei Ihrer Website, indem Sie Crawling-Regeln, den Speicherort der Sitemap und Einschränkungen für einzelne Bots festlegen.

Standardzugriff für Bots

Für alle Bots geltende Regel (User-agent: *).

Für alle zu blockierende Pfade

Ein Pfad pro Zeile (oder durch Kommas getrennt). Leer lassen, um alles zuzulassen.

Regeln pro Bot

Legen Sie spezifische Regeln für einzelne Bots fest.

Keine spezifische Regel. Für alle Bots gilt der Standardzugriff.

Sitemap-URL

KI-Bots blockieren

Verhindert, dass GPTBot, ClaudeBot, CCBot, Google-Extended und andere Ihre Inhalte verwenden.

robots.txt generiert

User-agent: *
Allow: /
Disallow:

Speichern Sie die Datei alsrobots.txtim Stammverzeichnis Ihrer Website (z. B.:seusite.com.br/robots.txt).