robots-robots正版下载

网站优化的时候，优化师会为网站添加上robots文件，robots文件是做什么用的?robots文件是告诉搜索引擎蜘蛛这个地址是网站地图，如果我们有网站隐私文件要屏蔽搜索引擎蜘蛛不让其抓取时，可以在robots.txt中写上路径地址，......