meta中name=＂robots＂ content=＂index,follow,noodp,noydir＂

meta标签 name=＂robots＂ content=＂index,follow,noodp,noydir＂是什么意思呢，我们这就来详细解释一下。

 

<meta name="robots" content="noodp">

 

这些元标记控制搜索引擎如何抓取和索引页。 "robots"元标记指定的规则适用于所有搜索引擎，"googlebot"元标记指定的规则只适用于Google。Google可以理解以下值（当指定多个值时，用逗号将它们分开）：

 

noindex: 防止网页被索引

nofollow: 不要通过当前页的链接来寻找并抓取新的网页

nosnippet: 在搜索结果中显示当前页时，不要显示页面摘要

noodp: 在为本页产生标题或页面摘要时，不要使用开放式目录项目（又名dmoz.org）中的文本

noarchive: 在显示本网页于搜索结果中时，不要显示一个"网页快照"链接

unavailable_after:[日期]:在指定的日期和时间后从搜索结果中删除这个网页

 

当你完全省略此标记或当你指定content= "all"时，默认规则是"index, follow"。"作为一个说明，你现在也可以在你的页面首部通过"X-robots-标签"HTTP头指令来指定这一信息。这特别有用，尤其是当你想微调抓取和索引诸如PDF、图片或其他类型的非HTML文件时。

 

robots取值说明

 

none 

搜索引擎将忽略此网页，等价于noindex，nofollow。 

 

noindex

搜索引擎不索引此网页。 

 

nofollow 

搜索引擎不继续通过此网页的链接索引搜索其它的网页。 

 

all 

搜索引擎将索引此网页与继续通过此网页的链接索引，等价于index，follow。 

 

index 

搜索引擎索引此网页。 

 

follow 

搜索引擎继续通过此网页的链接索引搜索其它的网页。 

 

noodp  noydir

不使用DOMZ、Yahoo!目录中描述作为网页摘要 

 

使用noodp和noydir

做SEO的朋友都经常和meta标签打交道，比如写description、keywords之类，但却很少用到noodp和noydir这样的标签（这两个其实比较老了，只是国内一般不太实用），这里我想对这两个做下说明，因为在不少做英文SEO的地方还得使用到。

有些时候站点加入了dmoz或者yahoo的分类目录，这本是好事，但很多时候开始加入的时候并未考虑完全，或者后来网站业务出现的变化等等，这样的情况下，使得原本的好事可能在一些时候反倒有了负面影响，因为Google和yahoo默认情况下会优先抓取dmoz和雅虎分类目录里面的信息作为搜索结果的标题和描述。

 

为了让搜索引擎抓取现有网页的描述就得使用到上述标签，比如对付google就用< meta name=”googlebot” content=”noodp” />，对付yahoo就用< meta name=”slurp” content=”noydir” />，当然还有对付msn的< meta name=”msnbot” content=”noodp” />，如果想对付多个可以用< meta name=”robots” content=”noodp,noydir” />

 

如果你觉得分类目录上的信息未能准确概述现有网站内容，不妨试试noodp和noydir。

 

 

noodp（No Open Directory Project）：在搜索结果中不使用Open Directory Project中的描述信息作为其摘要信息。

 

NOYDIR（No Yahoo Directory）：在搜索结果中不使用Yahoo Directory中的描述信息作为其摘要信息。

 

网站如果提交到Yahoo Directory或者DMOZ这些开放分类目录中，这些目录将记录网站说明信息。有时搜索引擎很可能采用开放目录里面网站的信息，而不采用现有的网址信息，导致搜索引擎的信息和网站的现有信息不匹配。

 

noodp 和 NOYDIR 就是要让搜索引擎不使用这些开放分类目录上的信息，而使用网站的现有信息。 

 

<meta name="搜索引擎类型" content="noodp,NOYDIR" />

 

<!-- 此网页不允许Google采用开放目录里的网站信息所为搜索结果 -->

< meta name=”googlebot” content=”noodp” /> 

 

<!-- 限制所有搜索引擎 -->

< meta name=”robots” content=”noodp,noydir” />

 

搜索引擎机器人（Specific Search robots）列表

 

  搜索引擎           robots（机器人）   

  Google         --  googlebot 

  MSN Search     --  msnbot 

  Yahoo          --  yahoo-slurp

  Baidu          --  baiduspider  

  Ask/Teoma      --  teoma 

  Cuil           --  twiceler 

  GigaBlast      --  gigabot 

  Scrub The Web  --  scrubby 

  DMOZ Checker   --  robozilla 

  Nutch          --  nutch 

  Alexa/Wayback  --  ia_archiver 

  Naver          --  naverbot, yeti

  AltaVista      --  scooter

  AllTheWeb      --  FAST-WebCrawler

  Inktomi        --  Slurp

 

特殊用途搜索引擎机器人（Specific Special Bots）列表

 

  搜索引擎           robots（机器人）   

  Google Image   --  googlebot-image 

  Google Mobile  --  googlebot-mobile 

  Yahoo MM       --  yahoo-mmcrawler 

  MSN PicSearch  --  psbot 

  SingingFish    --  asterias 

  Yahoo Blogs    --  yahoo-blogs/v3.9