Robots.txt 生成器

按 User-agent、Allow、Disallow、Crawl-delay 与 Sitemap 规则生成 robots.txt,内置常用预设并自动校验语法与链接格式。

常用预设

抓取规则

#1

生成的 robots.txt

工具介绍

Robots.txt 生成器按标准语法拼装抓取规则。可以为不同的 User-agent 建立多个规则组,分别设置 Allow 与 Disallow 路径、Crawl-delay 延迟,并在文件末尾追加 Sitemap 地址。内置「允许全部抓取」「禁止全部抓取」「屏蔽后台接口」三个常用预设,选完再微调即可。

生成前会自动校验:缺少 User-agent 的规则组会提示并跳过,Sitemap 地址必须是完整的 http 或 https 链接,避免因为一行写错导致整份规则失效。

工具特点

多规则组

为不同搜索引擎配置独立规则,互不影响。

常用预设

一键套用允许、禁止与屏蔽后台三套常见配置。

语法校验

检查 User-agent 是否缺失、Sitemap 是否为合法绝对地址。

结果可直接部署

生成标准文本,复制为 robots.txt 放到站点根目录即可生效。

使用场景

新站上线

快速生成一份允许抓取并声明 Sitemap 的基础规则。

屏蔽敏感目录

禁止抓取后台、接口与临时目录,降低信息泄露风险。

分引擎管控

对特定搜索引擎单独设置抓取延迟或禁止抓取范围。

使用步骤

  1. 1选择预设或手动新增规则组。
  2. 2填写 User-agent 与 Allow、Disallow 路径,每行一条。
  3. 3填入 Sitemap 完整地址。
  4. 4点击生成并复制结果部署到站点根目录。

常见问题

robots.txt 能阻止页面被收录吗?

robots.txt 只是抓取约定,不能保证不收录。需要彻底阻止收录请使用 noindex 元标签或响应头。

Allow 和 Disallow 冲突时以谁为准?

同长度前缀下 Allow 优先,但各引擎实现存在差异,建议避免写出冲突规则。

其他工具

本网站使用 Cookie 以确保您在我们的网站上获得最佳体验。 隐私政策.