常见搜索引擎蜘蛛大全

百度 baidu.com----Baiduspider

谷歌 google.com----Googlebot

中文版请打开以下页面

雅虎 yahoo.com----Yahoo

打开后跳转到以下页面

有道 yodao.com----YodaoBot

搜搜 soso.com----Sosospider/Sosoimagespider(网页蜘蛛/图片蜘蛛)

搜狗 sogou.com----sogou

微软 msn.com----msnbot

打开后跳转到以下页面

以下是几只收获(抓取页面)不劳动(不来流量)的蜘蛛 可以考虑禁了它们爬行 省空间流量

国外搜索引擎

gigablast.com----Gigabot

国外搜索引擎

webalta.net----WebAlta

国内的一个实验室的

apex.sjtu.edu.cn