Researchscan
Researchscan蜘蛛
Researchscan是互联网安全公司Censys的网络爬虫程序。Censys是一家专注于互联网安全和网络情报的公司，旨在帮助组织发现并解决网络安全问题。Researchscan这个爬虫程序主要用于执行互联网范围内的安全性研究和数据收集任务。 Researchscan会定期扫…
在线工具
搜索引擎蜘蛛大全
收录 76 种搜索引擎蜘蛛（爬虫）的 UserAgent 与说明。
本地收录 76 条，找到 76 条记录
spbot
sp蜘蛛
spbot是一个由Semrush（前身为SEOquake）开发的网络爬虫程序。Semrush是一家知名的数字营销和竞争情报公司，他们的spbot爬虫用于收集互联网上的网页数据以支持其市场研究和数据分析服务。 spbot的主要任务是扫描网站并检索信息，以帮助Semrush收集有关…
Uptimebot
Uptime蜘蛛
Uptimebot是一个用于监测网站可用性的网络爬虫程序。它主要被用于检查网站的在线状态和响应时间，以确保网站正常运行并及时发现任何潜在的故障或问题。 Uptimebot会定期访问网站，并记录下网站的响应时间、HTTP状态码以及其他相关信息。如果网站出现了不可用或响应缓慢的情况…
AhrefsBot
Ahrefs蜘蛛
AhrefsBot是Ahrefs公司开发的网络爬虫程序，用于收集互联网上的网页数据以支持其搜索引擎优化（SEO）和竞争情报服务。 Ahrefs是一家知名的SEO工具提供商，旨在帮助网站所有者和数字营销人员优化其网站并提升在搜索引擎中的排名。AhrefsBot主要任务是扫描互联网…
Amazonbot
亚马逊蜘蛛
关于 Amazonbot Amazonbot 是亚马逊的网络爬虫，用于改善我们的服务，例如使Alexa能够回答更多客户的问题。Amazonbot 遵循标准的 robots.txt 规则。 如何识别Amazonbot？ 在用户代理字符串中，您会看到“Amazonbot”以及其…
ImagesiftBot
ImageSift蜘蛛
ImagesiftBot是ImageSift网站的网络爬虫程序。ImageSift是一个图片分享社区，用户可以在该网站上共享和发现有趣的图片内容。ImagesiftBot的主要任务是扫描ImageSift网站上的图片内容，并且可能用于收集和索引这些图片以支持网站内部搜索功能或者提…
Linguee Bot
Linguee蜘蛛
Linguee Bot是Linguee网站的网络爬虫程序。Linguee是一个在线多语言词典和翻译服务网站，用户可以在该网站上查找词汇的翻译、示例句子和相关翻译来源。Linguee Bot的主要任务是扫描网站上的多语言文本内容，并收集各种语言之间的翻译对和语境信息，以支持网站提供…
AwarioBot
Awario蜘蛛
AwarioBot是Awario社交媒体监测工具的网络爬虫程序。Awario是一家提供社交媒体监测和网络分析服务的公司，他们的工具可以帮助用户跟踪品牌提及、关键字、竞争对手动态等信息。 AwarioBot的主要任务是扫描互联网上的各种社交媒体平台、新闻网站、论坛等位置，收集与用…
Ezooms
Ezooms蜘蛛
Ezooms是一种网络爬虫程序，用于收集互联网上的信息以支持搜索引擎的索引和数据分析。这种类型的爬虫通常由搜索引擎提供商开发和使用，用于扫描网页内容并收集相关数据，以便为用户提供更准确和全面的搜索结果。 Ezooms可能会定期访问网页，并收集页面的元数据、关键字、链接等信息，以…
YYSpider
YY蜘蛛
据说是个人写的蜘蛛程序，指向的是 http://www.yunyun.com/spider.html，yunyun.com 目前不能访问，建议屏蔽之。 不过对于国内网站来说不会带来什么流量，可以选择robots.txt协议禁止。 User-agent: YYSpider …
ZmEu
漏洞扫描
ZmEu不是一个正式的网络爬虫程序，而是一种恶意软件或黑客攻击工具。它是一种用于扫描Web服务器漏洞和进行暴力破解的蠕虫病毒。 ZmEu通常会在Web服务器上扫描多个常见的漏洞，例如SQL注入、文件包含、目录遍历等，以尝试利用这些漏洞获取对Web服务器的未授权访问权限。此外，Z…
Swiftbot
Swift蜘蛛
Swiftype是一个为你的网站定制的搜索引擎。它结合了 “最好的搜索技术、算法、内容摄取框架、客户端和分析工具”。 Swiftype是一个可以为你的网站搜索提供动力的软件 如果你有一个有许多页面的复杂网站，Swiftype提供了一个有用的界面，为你的所有页面编目和索引。 …
CCBot
Cloudflare蜘蛛
CCBot是Cloudflare CDN（内容分发网络）的网络爬虫，用于帮助Cloudflare收集网站内容的信息以提供更好的安全和性能服务。Cloudflare是一个知名的CDN提供商，其CDN服务可以帮助网站加速、保护网站安全等。 CCBot会定期访问网站，抓取网页内容并进…
AdsBot
Ads蜘蛛
AdsBot 是 Google Ads 的网络爬虫，主要用于收集网站页面上的广告相关信息以及 Landing Page 的内容。AdsBot 会定期访问网站，以确定其中包含的广告类型和 Landing Page 内容，从而帮助 Google Ads 优化广告投放和提供更精准的广告…
CriteoBot
Criteo蜘蛛
CriteoBot是由数字营销公司Criteo开发的网络爬虫程序。Criteo是一家专注于个性化广告的公司，他们的CriteoBot用于收集网站上的商品信息和用户行为数据，以便为其个性化广告和推荐系统提供支持。 CriteoBot会定期访问参与其广告网络的网站，并抓取商品页面的…
Serpstatbot
Serpstat蜘蛛
Serpstatbot是搜索引擎优化（SEO）和竞争情报平台Serpstat使用的网络爬虫程序。Serpstat是一家提供关键字研究、网站排名监测、竞争情报等服务的公司，他们的Serpstatbot用于收集和分析网页数据，以支持其平台的功能。 Serpstatbot会定期访问网…
bidswitchbot
bidswitch蜘蛛
BidSwitchBot是在线广告技术公司BidSwitch使用的网络爬虫程序。BidSwitch是一家提供广告交易平台和技术解决方案的公司，他们的BidSwitchBot用于收集网站上的广告相关信息以及用户数据，以支持在线广告交易和定向投放。 BidSwitchBot会定期访…
Deusu
个人蜘蛛
DeuSu 是我的个人项目。它是一个拥有独立索引的搜索引擎。创建搜索索引,超过十亿个网页要爬。DeuSu机器人软件用来做这个。 目前的(几乎)所有请求DeuSu机器人来自ip地址85.93.91.84和130.180.122.35。唯一的例外是一些非常小的测试,我不使用这两种服…
grapeshot
Grapeshot蜘蛛
Grapeshot是一家提供广告定向和内容分类技术的公司，他们的蜘蛛程序被用于收集网站上的内容信息以支持其服务。Grapeshot的蜘蛛主要用于分析网页内容，识别关键字和主题，以便为广告商和出版商提供更精准的广告定向和内容匹配。 通过抓取和分析网页内容，Grapeshot的蜘蛛…
petalbot
华为蜘蛛
PetalBot 是 Petal 搜索引擎（华为花瓣搜索引擎）的自动程序。PetalBot 的功能是访问 PC 网站和移动网站，并建立索引数据库，使用户可以在 Petal 搜索引擎中搜索您网站的内容。 PetalBot 带给 Web 服务器多少压力 为了获得对目标资源更好的检…
SEOkicks-Robot
SEOkicks蜘蛛
SEOkicks-Robot是一个用于搜索引擎优化（SEO）目的的网络爬虫程序。它由SEOkicks公司开发，用于分析网站内容、链接结构和其他与SEO相关的信息。SEOkicks-Robot通过抓取网页内容和链接数据，帮助网站管理员了解他们网站在搜索引擎中的表现，并提供改进建议以…
Applebot
苹果蜘蛛
Applebot是由苹果公司开发和维护的网络爬虫程序，用于索引网页内容以支持苹果的搜索功能和其他服务。Applebot被用于抓取网页内容，并将这些数据提供给苹果的搜索引擎，以便用户在苹果设备上进行搜索时能够获取相关的搜索结果。 这个网络爬虫主要用于支持苹果的搜索引擎，通过抓取和…
Backlink-Checker-Spider
backlinks蜘蛛
Backlink-Checker-Spider是一个用于检查和分析网站反向链接（backlinks）的网络爬虫程序。反向链接是指其他网站指向目标网站的链接，对于搜索引擎优化（SEO）非常重要，因为它们可以影响网站在搜索结果中的排名。 Backlink-Checker-Spide…
Coccocbot-web
Coccoc蜘蛛
Coccocbot-web是一种网络爬虫，由越南的Cốc Cốc搜索引擎（Cốc Cốc）开发和维护。这个网络爬虫主要用于抓取网页内容，索引信息，并为Cốc Cốc搜索引擎提供相关数据，以帮助用户在Cốc Cốc搜索引擎上获取准确和全面的搜索结果。 Cốc Cốc是越南本土的一…