初识robots.txt linux

初识robots.txt

robots协议并非是规范,只是行业内一个约定俗成的协议,一个网站和搜索引擎双方的规则协议。每个搜索引擎的蜘蛛访问一个站点时,它首先爬行来检查该站点根目录下是否存在...
阅读全文