MauiBotMaui蜘蛛MauiBot 不同于其他爬虫，这个爬虫连网站都没有，UA只显示一个邮箱：”MauiBot (crawler.feedback+wc@gm ail.com)“。神奇的是这个看起来是个人爬虫，竟然遵循robots协议，算得上垃圾爬虫的一股清流。 好在遵循robots协议，可以用robots.txt协议进行禁止。 协议如下： User-agent: MauiBot Disallow: /