Sitemap 抓取与网页链接提取

在线抓取 Sitemap 或提取网页链接:支持 sitemap.xml 与 sitemap 索引、.gz 压缩文件,也能直接提取普通网页中的链接,结果可复制或下载为 TXT。

输入 Sitemap 或网页地址后点击抓取,查看解析结果

抓取由服务端请求目标地址完成,仅解析 Sitemap 或页面链接,不保存页面内容;仅支持公网可访问的 http/https 地址。

工具介绍

Sitemap 抓取支持标准 sitemap.xml、sitemap 索引文件与 .gz 压缩格式;切换到链接模式时,可提取任意网页中的全部链接并转为绝对地址。

结果会去重并过滤 javascript:、mailto: 等无效链接,支持按条数上限截断,可一键复制或下载为 TXT,便于导入爬虫或做收录检查。

工具特点

两种模式

自动识别 Sitemap,或提取普通网页链接。

索引与 gz

兼容 sitemapindex 与 .xml.gz 压缩文件。

复制导出

支持逐条复制、全部复制与 TXT 下载。

使用场景

收录检查

核对 Sitemap 是否包含全部需要收录的页面。

爬虫种子整理

导出页面链接作为爬虫或检测任务的输入。

使用步骤

  1. 1输入 Sitemap 或网页地址。
  2. 2选择模式与条数上限。
  3. 3复制结果或下载 TXT 文件。

常见问题

为什么只解析到部分地址?

单次最多返回 500 条,文件过大时会截断并提示;索引文件建议按子 sitemap 分别抓取。

能抓取动态渲染的页面吗?

不能,服务端不执行 JavaScript,仅解析返回 HTML 中的链接。

抓取失败是什么原因?

目标地址不可访问、返回非 HTML/XML 内容或超过大小限制时会失败,可检查地址与站点可访问性。

其他工具

本网站使用 Cookie 以确保您在我们的网站上获得最佳体验。 隐私政策.