Yahoo Slurp

雅虎中国：http://misc.yahoo.com.cn/help.html 雅虎英文：http://help.yahoo.com/help/us/ysearch/slurp 1)Yahoo!搜索蜘蛛名称：Yahoo! Slurp。 2)Yahoo!搜索引擎广告蜘蛛：Yahoo!-AdCrawler。用来抓取Yahoo!搜索引擎广告登陆页网页 如果某个网站在谷歌网站下没有很好的收录，在雅虎下也不会有很好的收录和爬行。雅虎蜘蛛的数量庞大，但平均的效率不是很高，相应的搜索结果质量不高。 不过对于国内网站来说不会带来什么流量，可以选择robots.txt协议禁止。 User-agent: Yahoo Slurp Disallow: / 如果还是禁止不了，可以选择nginx规则禁止访问，如下： if ($http_user_agent ~* "Yahoo") { return 403; }