Baiduspider
百度蜘蛛
百度相关的各个蜘蛛Bot 图片搜索：Baiduspider-image 视频搜索：Baiduspider-video 新闻搜索：Baiduspider-news 百度搜藏：Baiduspider-favo 百度联盟：Baiduspider-cpro 商务搜索：Baid…
在线工具
搜索引擎蜘蛛大全
收录 76 种搜索引擎蜘蛛（爬虫）的 UserAgent 与说明。
本地收录 76 条，找到 76 条记录
360Spider
360蜘蛛
360Spider，它是一个很“勤奋抓爬”的蜘蛛。 不想让360搜索抓取，可以选择robots.txt协议禁止。 User-agent: 360Spider Disallow: / 如果还是禁止不了，可以选择nginx规则禁止访问，如下： if ($http_user_…
sogou spider
搜狗蜘蛛
sogou spider是搜狗搜索引擎的一个自动程序。它的作用是访问互联网上的网页，存储到本地数据库中，并从中发现新的链接，走访互联网，使用户能在搜狗搜索引擎中搜索到您网站的网页。 Q. sogou spider 访问我的网站过快怎么办？ sogou spider 对于同一个…
Yisouspider
神马蜘蛛
神马蜘蛛是神马上网，自动抓取网页的程序。蜘蛛抓取网页并建立索引，以便用户可以通过搜索引擎在互联网上搜索资源。 神马Spider的网站访问频率 神马会根据网站的规模、服务能力、页面质量、更新速度等因素来决定访问网站的频率。通常神马蜘蛛这种质量高、页面更新快的网站，访问频率相对较…
Yahoo Slurp
雅虎中国蜘蛛
雅虎中国：http://misc.yahoo.com.cn/help.html 雅虎英文：http://help.yahoo.com/help/us/ysearch/slurp 1)Yahoo!搜索蜘蛛名称：Yahoo! Slurp。 2)Yahoo!搜索引擎广告蜘蛛：Ya…
bingbot
必应蜘蛛
微软必应蜘蛛（Bing Spider）是微软搜索引擎必应（Bing）的网络爬虫程序，负责在互联网上抓取网页内容并建立索引，以便用户在搜索时能够快速找到相关的信息。必应蜘蛛会定期访问网站，并从中提取文本内容、链接和其他相关信息，然后将这些数据传送回必应搜索引擎的服务器进行处理和索引…
YoudaoBot
有道蜘蛛
有道蜘蛛识别共有两个名，如下： YoudaoBot，YodaoBot 和其他搜索引擎蜘蛛一样，凡是高权重网站的链接一般都能将其收录。爬行原理也是通过链接之间的爬行。但并不会带来流量。
JikeSpider
即刻搜索
“即刻搜索”是由人民搜索网络股份公司于2011年6月20日推出的通用搜索引擎平台，建议屏蔽。
Sosospider
腾讯搜搜蜘蛛
Sosospider是腾讯搜搜爬虫引擎，昨天刚刚开通微博，主要是站长及搜搜用户沟通的平台。据我了解这应该是第一家开通微博的“蜘蛛”。
EasouSpider
宜搜蜘蛛
深圳宜搜天下科技股份有限公司（Shenzhen Easou Technology Co., Ltd.）简称“宜搜科技”，成立于2005年4月，是经深圳市政府认定的国家高新技术企业。宜搜科技总部设在深圳，在北京设立了研发中心。 宜搜是主要针对手机端的搜索引擎，非常傻帽的一个爬虫，…
Bytespider
今日头条蜘蛛
1. 抓取网页 每个独立的搜索引擎都有自己的网页抓取程序爬虫（Spider）。爬虫顺着网页中的超链接，从这个网站爬到另一个网站，通过超链接分析连续访问抓取更多网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网…
MJ12bot
英国MJ12蜘蛛
来源：http://mj12bot.com/ mj12bot 是什么蜘蛛 在网络世界中，我们经常会听到“蜘蛛”这个词语，蜘蛛是一种网络爬虫程序，用于搜索和收集互联网上的信息，例如百度、Google的爬虫就是著名的蜘蛛程序。而在这些蜘蛛程序中，mj12bot 也是一种非常常见的…
YandexBot
俄罗斯蜘蛛
YandexBot 是俄罗斯最大搜索引擎和互联网巨头 Yandex 的网页爬虫，其UA标识是“(compatible; YandexBot/3.0; +http://yandex.com/bots)”。 Yandex提供中文界面和中文搜索，也是少数目前能直接打开的国外搜索引擎。…
DuckDuckGo
网页爬虫
DuckDuckGo 是 DuckDuckGo 的网页爬虫，其UA标识是“Mozilla/5.0 (Linux; Android 10) AppleWebK it/537.36 (KHTML, like Gecko) Version/4.0 Chrome/81.0.4044.13…
Rogerbot
网页爬虫
Rogerbot 是 Moz Pro Campaign 网站审核的 Moz 爬虫。它与 Dotbot 不同，Dotbot 是为链接索引提供支持的网络爬虫。Rogerbot 访问您网站的代码以将报告发送回您的 Moz Pro Campaign。这可以帮助您了解您的网站并教您如何解决…
DotBot
Dot蜘蛛
DotBot蜘蛛是国外Moz旗下链接分析网站opensiteexplorer的，DotBot蜘蛛专门用来分析网站的外链数据。 DotBot蜘蛛有用吗？ DotBot蜘蛛主要还是给国外网站服务的，如果你的网站是做外贸的，那么DotBot蜘蛛对你的网站可能还有点用处，如果你的网站是…
MauiBot
Maui蜘蛛
MauiBot 不同于其他爬虫，这个爬虫连网站都没有，UA只显示一个邮箱：”MauiBot (crawler.feedback+wc@gm ail.com)“。神奇的是这个看起来是个人爬虫，竟然遵循robots协议，算得上垃圾爬虫的一股清流。 好在遵循robots协议，可以用r…
SEMrushBot
SEMrush蜘蛛
SEMrushBot蜘蛛是一个在线SEO分析平台的蜘蛛，他们的官网是www.semrushchina.cn，对国内网站用户来说，大家可能对它有些陌生，但是有很多做外贸的朋友应该都知道或使用过它，它在行业内还是比较知名的。它对网站有害吗？ 多个 SEMrushBot相关的蜘蛛，如…
MegaIndex.ru
MegaIndex蜘蛛
MegaIndex.ru蜘蛛是一个提供反向链接查询的网站的蜘蛛，因此它爬网站主要是分析链接，官网：http://MegaIndex.ru，并没有什么作用。遵循robots协议。 可以通过robots.txt协议选择禁止。 User-agent: MegaIndex.ru D…
ZoominfoBot
Zoominfo蜘蛛
ZoominfoBot是ZoomInfo公司的网络爬虫程序，用于在互联网上抓取和收集公司和个人信息。ZoomInfo是一家提供市场情报和数据服务的公司，他们的网络爬虫（ZoominfoBot）会访问各种网站，收集公司、个人的联系信息、工作经历、公司规模等相关数据，然后将这些信息整…
SeznamBot
Seznam蜘蛛
SeznamBot是捷克共和国知名的搜索引擎Seznam.cz的网络爬虫程序。Seznam.cz是捷克最大的搜索引擎和门户网站之一，类似于谷歌和必应，在捷克地区拥有广泛的用户群体。 SeznamBot负责在互联网上抓取网页内容并建立索引，以提供给Seznam.cz搜索引擎使用。…
BLEXBot
BLEX蜘蛛
BLEXBot是来自著名的网络安全公司Cloudflare的网络爬虫程序。Cloudflare是一家提供内容传送网络（CDN）、安全性和网络性能服务的公司，他们的爬虫程序BLEXBot用于收集网站信息并帮助改善网络安全性。 BLEXBot的主要任务是扫描网站以发现潜在的安全风险…
ExtLinksBot
ExtLinks蜘蛛
ExtLinksBot是一个由维基百科（Wikipedia）自动编辑程序使用的网络爬虫，它用于检查和更新维基百科条目中的外部链接。维基百科允许编辑者在条目中添加外部链接以提供更多相关信息，而ExtLinksBot会定期访问这些链接，检查其有效性并更新维基百科上的链接状态信息。 …
aiHitBot
aiHit蜘蛛
aiHitBot是一个网络爬虫程序，属于aiHit公司的产品之一。aiHit是一家提供市场情报和数据分析服务的公司，他们的网络爬虫程序aiHitBot用于收集和分析全球范围内的企业数据。 aiHitBot的主要任务是在互联网上抓取公司信息、市场数据和其他商业相关的内容，然后将这…
第 1 / 4 页下一页