seo新手必知：robots写法大全|友浩SEO

青岛奥林匹克帆船中心

站长的工作是设计精美的网站，为大众展现网站丰富多彩的内容。当然，我们也希望精心设计的网站获得理想的排名，这就要求我们去研究搜索引擎排名规律，最大程度的获得机会展现给客户。然而，搜索引擎种类很多，有时候，我们对某一种搜索引擎的排名很好，却在另外的搜索引擎上面获得不到一样的排名，原因是各个搜索引擎规则不一样。为此，有人复制出相同的内容以应付不同搜索引擎的排名规则。然而，一旦搜索引擎发现站内有大量“克隆”的页面，就会给以惩罚，不收录这些重复的页面。另一方面，我们网站的内容属于个人私密文件，不想暴露在搜索引擎中。这时，robot.txt就是为了解决这两个问题。

一、robots基本概念：

Robots.txt文件是网站的一个文件，它是给搜索引擎蜘蛛看的。搜索引擎蜘蛛爬行道我们的网站首先就是抓取这个文件，根据里面的内容来决定对网站文件访问的范围。它能够保护我们的一些文件不暴露在搜索引擎之下，从而有效的控制蜘蛛的爬取路径，为我们站长做好seo创造必要的条件。尤其是我们的网站刚刚创建，有些内容还不完善，暂时还不想被搜索引擎收录时。

robots.txt也可用在某一目录中。对这一目录下的文件进行搜索范围设定。

几点注意：

网站必须要有一个robot.txt文件。

文件名是小写字母。

当需要完全屏蔽文件时，需要配合meta的robots属性。

二、robots.txt的基本语法

内容项的基本格式：键: 值对。

1) User-Agent键

后面的内容对应的是各个具体的搜索引擎爬行器的名称。如百度是Baiduspider，谷歌是Googlebot。

一般我们这样写：

User-Agent: *

表示允许所有搜索引擎蜘蛛来爬行抓取。如果只想让某一个搜索引擎蜘蛛来爬行，在后面列出名字即可。如果是多个，则重复写。

注意：User-Agent:后面要有一个空格。

在robots.txt中，键后面加：号，后面必有一个空格，和值相区分开。

2)Disallow键

该键用来说明不允许搜索引擎蜘蛛抓取的URL路径。

例如：Disallow: /index.php 禁止网站index.php文件

Allow键

该键说明允许搜索引擎蜘蛛爬行的URL路径

例如：Allow: /index.php 允许网站的index.php

通配符*

代表任意多个字符

例如：Disallow: /*.jpg 网站所有的jpg文件被禁止了。

结束符$

表示以前面字符结束的url。

例如：Disallow: /?$ 网站所有以?结尾的文件被禁止。

三、robots.txt比较常用的功能：

1、利用robots.txt来限制网页快照
很多搜索引擎都提供一个网页快照的功能。但是网页快照功能却有很多的弊端，例如事实内容在网页快照中更新不及时、索引网页快照浪费大量的服务器资源等。因此，我们有些时候可能并不需要搜索引擎来索引我们某个页面的网页快照。
解决这样问题的办法很简单，只需要在你的网页元标记中（<head>和</head>之间）放置如下的一段代码。
<meta name=”robots” content=”noarchive”>
以上的一段代码限制了所有的搜索引擎建立你的网页快照。如果我们需要仅仅限制一个搜索引擎建立快照的话，就可以像如下这样去写
<meta name=”Baiduspider” content=”noarchive”>
需要注意的是，这样的标记仅仅是禁止搜索引擎为你的网站建立快照，如果你要禁止搜索引擎索引你的这个页面的话，请参照后面的办法。

2、禁止搜索引擎抓取网页页面
在SEO中，禁止搜索引擎抓取本页面或者是允许搜索引擎抓取本页面是经常会用到的。因为网页有一些是我们不需要用来参加关键词排名的，所以可以屏蔽掉。为了让搜索引擎禁止抓取本页面，我们一般的做法是在页面的元标记中加入如下的代码：
<META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”>
在这里，META NAME=”ROBOTS”是泛指所有的搜索引擎的，在这里我们也可以特指某个搜索引擎，例如META NAME=”Googlebot”、META NAME=”Baiduspide”、META NAME=”XXX”等。content部分有四个命令：index、noindex、follow、nofollow，命令间以英文的“,”分隔。

INDEX命令：告诉搜索引擎抓取这个页面
FOLLOW命令：告诉搜索引擎可以从这个页面上找到链接，然后继续访问抓取下去。
NOINDEX命令：告诉搜索引擎不允许抓取这个页面
NOFOLLOW命令：告诉搜索引擎不允许从此页找到链接、拒绝其继续访问。

根据以上的命令，我们就有了一下的四种组合：
<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>：可以抓取本页，而且可以顺着本页继续索引别的链接
<META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”>：不许抓取本页，但是可以顺着本页抓取索引别的链接
<META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”>：可以抓取本页，但是不许顺着本页抓取索引别的链接
<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>：不许抓取本页，也不许顺着本页抓取索引别的链接。
这里需要注意的是，不可把两个对立的反义词写到一起，例如

<META NAME=”ROBOTS” CONTENT=”INDEX,NOINDEX”>
或者直接同时写上两句
<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>
<META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”>
这里有一个简便的写法，如果是
<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>的形式的话，可以写成：
<META NAME=”ROBOTS” CONTENT=”ALL”>
如果是
<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>的形式的话，可以写成：<META NAME=”ROBOTS” CONTENT=”NONE”>

在SEO中，对于蜘蛛的控制是非常重要的一部分内容，所以希望各位看官准确把握这部分的内容有些时候我们会遇到这样的困难：我们原本不想被搜索引擎收录的网站后台地址却被搜索引擎“无情”的收录，这样只要在Google里输入一个“后台、管理site:www.pingdu.co ”，自己的后台地址就会显露无疑，因此网站安全性也无从谈起。遇到这样的情况时，我们如何阻止搜索引擎收录我们不想被收录的文件呢？

一般在这个时候，我们常用的办法有两个，一个是编辑robots.txt文件，另外一个是在不想被收录的页面头部放置META NAME=”ROBOTS”标签。

所谓的robots.txt文件，是每一个搜索引擎到你的网站之后要寻找和访问的第一个文件，robots.txt是你对搜索引擎制定的一个如何索引你的网站的规则。通过这个文件，搜索引擎就可以知道在你的网站中，哪些文件是可以被索引的，哪些文件是被拒绝索引的。
在很多网站中，站长们都忽略了使用robots.txt文件。因为很多站长都认为，自己的网站没有什么秘密可言，而且自己也不太会使用robots.txt的语法，因此一旦写错了会带来更多的麻烦，还不如干脆不用。

其实这样的做法是不对的。在前面的文章中我们知道，如果一个网站有大量文件找不到的时候（404），搜索引擎就会降低网站的权重。而robots.txt作为蜘蛛访问网站的第一个文件，一旦搜索引擎要是找不到这个文件，也会在他的索引服务器上记录下一条404信息。

虽然在百度的帮助文件中，有这样的一句话“请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。”但是我个人还是认为建立robots.txt还是必须的，哪怕这个robots.txt文件是一个空白的文本文档都可以。因为我们的网站毕竟不是仅仅会被百度收录，同时也会被其他搜索引擎收录的，所以，上传一个robots.txt文件还是没有什么坏处的。
四、robots.txt实例分析
1、禁止所有搜索引擎访问网站的所有部分
User-agent: *
Disallow: /
2、禁止百度索引你的网站
User-agent: Baiduspider
Disallow: /
3、禁止Google索引你的网站
User-agent: Googlebot
Disallow: /
4、禁止除Google外的一切搜索引擎索引你的网站
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /

5、禁止除百度外的一切搜索引擎索引你的网站
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /

6、禁止蜘蛛访问某个目录
（例如禁止admin\css\images被索引）
User-agent: *
Disallow: /css/
Disallow: /admin/
Disallow: /images/

7、允许访问某个目录中的某些特定网址
User-agent: *
Allow: /css/my
Allow: /adminml
Allow: /images/index
Disallow: /css/
Disallow: /admin/
Disallow: /images/

8、使用“*”，限制访问某个后缀的域名，例如索引访问admin目录下所有ASP的文件

User-agent: *
Disallow: /admin/*.htm

9、使用“$”仅允许访问某目录下某个后缀的文件
User-agent: *
Allow: .asp$
Disallow: /

10、禁止索引网站中所有的动态页面（这里限制的是有“?”的域名，例如index.asp?id=1）
User-agent: *
Disallow: /*?*

11、有些时候，我们为了节省服务器资源，需要禁止各类搜索引擎来索引我们网站上的图片，这里的办法除了使用“Disallow: /images/”这样的直接屏蔽文件夹的方式之外，还可以采取直接屏蔽图片后缀名的方式。具体办法如下。

禁止Google搜索引擎抓取你网站上的所有图片(如果你的网站使用其他后缀的图片名称，在这里也可以直接添加)
User-agent: Googlebot
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$

禁止百度搜索引擎抓取你网站上的所有图片
User-agent: Baiduspider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$

其他很多情况呢，需要具体情况具体分析。只要你了解了这些语法规则以及通配符的使用，相信很多情况是可以解决的。

五、meta robots标签

meta是网页html文件的head标签里面的标签内容。它规定了此html文件对与搜索引擎的抓取规则。与robot.txt 不同，它只针对写在此html的文件。

写法：

…里面的内容列出如下

noindex – 阻止页面被列入索引。

nofollow – 阻止对于页面中任何超级链接进行索引。

noarchive – 不保存该页面的网页快照。

nosnippet – 不在搜索结果中显示该页面的摘要信息，同时不保存该页面的网页快照。

noodp – 在搜索结果中不使用Open Directory Project中的描述信息作为其摘要信息。

六、robots制作工具

百度站长平台：http://zhanzhang.baidu.com/robots/

站长工具：http://tool.chinaz.com/robots/

robots.txt和mtea robots的内容就介绍到这里，相信大家对robot已经有了比较详细的了解。使用好robots对于我们网站的seo有着重要作用，做的好，可以有效的屏蔽那些我们不想让搜索引擎抓取的页面，也就是对用户体验不高的页面，从而将有利于关键词排名的内页充分展示个客户，获得搜索引擎对站内页面的权重，从而有利于我们将关键词排名做的更好。

PS:本文图为青岛奥林匹克帆船中心门前广场

未经允许不得转载：友浩SEO » seo新手必知：robots写法大全