教你用好robots.txt

Posted in 网络咨询

February 3, 2010
by admin
1 comment

转的帖子，觉得不错，略知何为robots，但是想必真正了解的不多吧，好好看看，觉得很有帮助。

如何不让搜索引擎收录？
一．何为robots.txt?
　　搜索引擎通过一种程序robot（也被称作spider），自动爬行访问互联网上的网页并获取网页信息。
　　您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。
(more…)