摘要搜索引擎蜘蛛在爬取网站的时候，会首先访问robots.txt，robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单，但是作用却很强大。它可以指定搜索引...