Robots.txt 生成器
按 User-agent、Allow、Disallow、Crawl-delay 与 Sitemap 规则生成 robots.txt,内置常用预设并自动校验语法与链接格式。
工具介绍
Robots.txt 生成器按标准语法拼装抓取规则。可以为不同的 User-agent 建立多个规则组,分别设置 Allow 与 Disallow 路径、Crawl-delay 延迟,并在文件末尾追加 Sitemap 地址。内置「允许全部抓取」「禁止全部抓取」「屏蔽后台接口」三个常用预设,选完再微调即可。
生成前会自动校验:缺少 User-agent 的规则组会提示并跳过,Sitemap 地址必须是完整的 http 或 https 链接,避免因为一行写错导致整份规则失效。
工具特点
多规则组
为不同搜索引擎配置独立规则,互不影响。
常用预设
一键套用允许、禁止与屏蔽后台三套常见配置。
语法校验
检查 User-agent 是否缺失、Sitemap 是否为合法绝对地址。
结果可直接部署
生成标准文本,复制为 robots.txt 放到站点根目录即可生效。
使用场景
新站上线
快速生成一份允许抓取并声明 Sitemap 的基础规则。
屏蔽敏感目录
禁止抓取后台、接口与临时目录,降低信息泄露风险。
分引擎管控
对特定搜索引擎单独设置抓取延迟或禁止抓取范围。
使用步骤
- 1选择预设或手动新增规则组。
- 2填写 User-agent 与 Allow、Disallow 路径,每行一条。
- 3填入 Sitemap 完整地址。
- 4点击生成并复制结果部署到站点根目录。
常见问题
robots.txt 能阻止页面被收录吗?
robots.txt 只是抓取约定,不能保证不收录。需要彻底阻止收录请使用 noindex 元标签或响应头。
Allow 和 Disallow 冲突时以谁为准?
同长度前缀下 Allow 优先,但各引擎实现存在差异,建议避免写出冲突规则。
