标签：实例
robots文件的语法介绍及其应用实例!

在经营我们自己的网站时，有时会遇到这样的问题：我们原本不想被搜索引擎收录的网站后台地址却被搜索引擎“无情”的收录，这样只要在Google里输入一个“后台、管理site:www.***.com”，自己的后台地址就会显露无疑，因此网站安全性也无从谈起。遇到这样的情况时，我们如何阻止搜索引擎收录我们不想被收录的文件呢？

一般在这个时候，我们常用的办法有两个，一个是编辑robots.txt文件，另外一个是在不想被收录的页面头部放置META NAME="ROBOTS"标签。

所谓的robots.txt文件，是每一个搜索引擎到你的网站之后要寻找和访问的第一个文件，robots.txt是你对搜索引擎制定的一个如何索引你的网站的规则。通过这个文件，搜索引擎就可以知道在你的网站中，哪些文件是可以被索引的，哪些文件是被拒绝索引的。

本日志由 mano 于 2010-01-13 13:40:08 发表到 技术新知 中，目前已经被浏览 112 次，评论 0 次；

作者添加了以下标签： robots，语法，应用，实例；

首页只显示了部分日志内容，要查看日志的全部内容请阅读全文；