Sitemap 抓取与网页链接提取
在线抓取 Sitemap 或提取网页链接:支持 sitemap.xml 与 sitemap 索引、.gz 压缩文件,也能直接提取普通网页中的链接,结果可复制或下载为 TXT。
工具介绍
Sitemap 抓取支持标准 sitemap.xml、sitemap 索引文件与 .gz 压缩格式;切换到链接模式时,可提取任意网页中的全部链接并转为绝对地址。
结果会去重并过滤 javascript:、mailto: 等无效链接,支持按条数上限截断,可一键复制或下载为 TXT,便于导入爬虫或做收录检查。
工具特点
两种模式
自动识别 Sitemap,或提取普通网页链接。
索引与 gz
兼容 sitemapindex 与 .xml.gz 压缩文件。
复制导出
支持逐条复制、全部复制与 TXT 下载。
使用场景
收录检查
核对 Sitemap 是否包含全部需要收录的页面。
爬虫种子整理
导出页面链接作为爬虫或检测任务的输入。
使用步骤
- 1输入 Sitemap 或网页地址。
- 2选择模式与条数上限。
- 3复制结果或下载 TXT 文件。
常见问题
为什么只解析到部分地址?
单次最多返回 500 条,文件过大时会截断并提示;索引文件建议按子 sitemap 分别抓取。
能抓取动态渲染的页面吗?
不能,服务端不执行 JavaScript,仅解析返回 HTML 中的链接。
抓取失败是什么原因?
目标地址不可访问、返回非 HTML/XML 内容或超过大小限制时会失败,可检查地址与站点可访问性。
