9、Robots.txt

robots.txt是什么？有没有想过，如果我们某个站点不让百度和google收录，那怎么办？　搜索引擎已经和我们达成一个约定，如果我们按约定那样做了，它们就不要收录。这个写约定的的文件命名为:robots.txt。robots.txt是一个最简单的.txt文件，用以告诉搜索引擎哪些网页可以收录，哪些不允许收录。关于robots.txt一般站长需要注意。　

robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

我所在的网站算是一个大型网站，百度收录3000万，每天百度爬虫抓取总次数在500w次左右，单页的百度收录率 80%，看起来已经是一个相当不错的数据，但分析一下详细的日志文件，还是可以发现一些问题。　

robots.txt文件的重要作用意义（点击阅读）

搜索引擎机器人通过链接抵达互联网上的每个网页，并抓取网页信息。搜索引擎机器人在访问一个网站时，会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当我们的网站有一些内容不想被搜索引擎收录，我们可以通过设置robots.txt文件告知搜索引擎机器人。

网站安全是重中之重

网站服务是否稳定，对用户、站方和搜索引擎来说都非常重要。目前国内网站的安全问题十分严峻，众多网站由第三方代建，维护人员缺乏足够的知识，大量的网站都存在不同程度的安全和管理漏洞。