初识robots.txt linux

初识robots.txt

robots协议并非是规范,只是行业内一个约定俗成的协议,一个网站和搜索引擎双方的规则协议。每个搜索引擎的蜘蛛访问一个站点时,它首先爬行来检查该站点根目录下是否存在...
阅读全文
\r,\n,\r\n的区别 linux

\r,\n,\r\n的区别

'\n'是换行,它使光标下移一格,'\r'是回车,它使光标到行首,通常敲一个回车键,即是回车,又是换行(\r\n)。Unix中每行结尾只有“<换行>”,...
阅读全文