网站优化之robots写法以及robots meta标签的写法
robots优化
robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。因此，robots的优化会直接影响到搜索引擎对网站的收录情况。
什么是“robots”
搜索机器人又叫搜索蜘蛛，在访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt文件，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就会沿着链接抓取。
robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。如我的网站：
http://www.heiweite.com/robots.txt
只有在需要禁止抓取某些内容时，写robots.txt才有意义。有的服务器设置有问题，robots文件不存在时会返回200状态码及一些错误信息，而不是404状态码，这有可能是搜索机器人错误解读robots文件信息，所以建议就算允许抓取所有内容，也要建一个空的robots文件。
robots写作语法
首先，我们来看一个robots.txt范例：
# robots.txt file from http://www.heiweite.com
# All robots will spider the domain
User-agent: *
Disallow:
以上文本表达的意思是允许所有的搜索机器人访问www.heiweite.com站点下的所有文件。具体语法分析如下。
#后面文字为说明信息；User-agent后面为搜索机器人的名称，如果是“*”，则泛指所有的搜索机器人；Disallow后面是不允许访问的文件目录，如目录为空则不起任何禁止作用。
下面，列举一些robots.txt的具体用法。
允许所有的robot访问，格式如下：
User-agent: *
Disallow:
或者也可以建一个空robots.txt文件。
禁止所有搜索引擎访问网站的任何部分，格式如下：
User-agent: *
Disallow: /
禁止所有搜索引擎访问网站的某几个部分，比如下例中禁止访问01、02、03目录：
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
禁止某个搜索引擎的访问，比如下例中的BadBot：
User-agent: BadBot
Disallow: /
只允许某个搜索引擎的访问，比如下例中的Crawler：
User-agent: Crawler
User-agent: Crawler
Disallow:
User-agent: *
Disallow: /
另外，有必要进行拓展说明，对robots meta进行一些介绍：
robots meta标签主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，robots meta标签也是放在页面的<head></head>中，专门用来告诉搜索引擎机器人如何抓取该页的内容。
robots meta标签的写法
robots meta标签中没有大小写之分，name=“robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=“baiduspider”。content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“，”分隔。
index指令告诉搜索机器人抓取该页面；
follow指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；
robots meta标签的缺省值是index和follow，只有inktomi（早期出现的搜索引擎）除外，对于它，缺省值是index，nofollow。
一共有下面两种组合：
<meta name="robots" content="index,follow">
<meta name="robots" content="noindex,follow">
其中，
<meta name="robots" content="index,follow">
可以写成
<meta name="robots" content ="all">;
而：
<meta name="robots" content="noindex,follow">
可以写成
<meta name="robots" content="none">
目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于robots meta标签，目前支持的并不多，但是正在逐渐增加，如Google就完全支持，而且Google还增加了一个指令“archive”，可以限制Google是否保留网页快照。
例如：
<meta name="googlebot"content="index,follow,noarchive">
评论