在线工具
爬虫模拟抓取工具
模拟百度蜘蛛、Googlebot、Bingbot 等爬虫 UA 抓取网页,查看响应头和源代码。
模拟常见爬虫的 User-Agent 请求公网网页,查看响应头及源文本。
使用说明
- 仅模拟请求头,不代表实际搜索引擎来源IP,也不执行网页JavaScript。
- 正文最多显示512KiB,按UTF-8显示,截取和其他编码会明确提示。
模拟百度蜘蛛、Googlebot、Bingbot 等爬虫 UA 抓取网页,查看响应头和源代码。
模拟常见爬虫的 User-Agent 请求公网网页,查看响应头及源文本。