牛牛在线工具

SEMrushBot

收录 76 种搜索引擎蜘蛛(爬虫)的 UserAgent 与说明。

SEMrushBot

SEMrush蜘蛛

SEMrushBot蜘蛛是一个在线SEO分析平台的蜘蛛,他们的官网是www.semrushchina.cn,对国内网站用户来说,大家可能对它有些陌生,但是有很多做外贸的朋友应该都知道或使用过它,它在行业内还是比较知名的。它对网站有害吗? 多个 SEMrushBot相关的蜘蛛,如下: SemrushBot-SA SemrushBot-BA SemrushBot-SI SemrushBot-SWA SemrushBot-CT SemrushBot-BM SemrushBot-SEOAB 通过以上了解,相信大家已经大概明白,SemrushBot蜘蛛是一个正规的蜘蛛,至少它对你的网站是没有害处的。 但是不会为网站带来流量,可以选择robots.txt协议的方式来禁止。 User-agent: SemrushBot Disallow: / User-agent: SemrushBot-SA Disallow: / User-agent: SemrushBot-BA Disallow: / User-agent: SemrushBot-SI Disallow: / User-agent: SemrushBot-SWA Disallow: / User-agent: SemrushBot-CT Disallow: / User-agent: SemrushBot-BM Disallow: / User-agent: SemrushBot-SEOAB