BaiDuSpider百度蜘蛛占用流量,robots.txt设置

注：以下BaiDuSpider等于百度蜘蛛、Googlebot等于google蜘蛛、Sogou Spider等于搜狗蜘蛛 一、问题 因某些原因，搜索引擎蜘蛛抓取网站占用很大流量，如图： 网站访问日志也可看见很多蜘蛛爬行记录。 如果是正......