爬虫默认访问权限
适用于所有爬虫的规则（User-agent: *).
每行一个路径（或用逗号分隔）。留空表示全部允许。
按爬虫设置规则
为单个爬虫设置专属规则。
无专属规则。所有爬虫遵循默认访问权限。
屏蔽 AI 爬虫
阻止 GPTBot、ClaudeBot、CCBot、Google-Extended 等使用您的内容。
User-agent: * Allow: / Disallow:
将文件保存为robots.txt在您网站的根目录下（例如：seusite.com.br/robots.txt).