noindex,nofollow禁止搜索引擎抓取本页面

seo技术 admin 暂无评论

禁止搜索引擎抓取本页面

为了让搜索引擎禁止抓取本页面,我们一般的做法是在页面的元标记中加入如下的代码:

<meta name="robots" content="noindex,follow">

在这里,meta name="robots"是泛指所有的搜索引擎的,在这里我们也可以特指某个搜索引擎,例如meta name="robots"="Googlebot(谷歌蜘蛛)"、meta name="Baiduspider(百度蜘蛛)"等。content部分有四个命令:index、noindex、follow、nofollow,命令间以英文的“,”分隔。

index命令:告诉搜索引擎抓取这个页面

follow命令:告诉搜索引擎可以从这个页面上找到链接,然后继续访问抓取下去。

noindex命令:告诉搜索引擎不允许抓取这个页面

nofollow命令:告诉搜索引擎不允许从此页找到链接、拒绝其继续访问。

根据以上的命令,我们就有了一下的四种组合

<meta name="robots" content="index,follow">:可以抓取本页,而且可以顺着本页继续索引别的链接

<meta name="robots" content="noindex,follow">:不许抓取本页,但是可以顺着本页抓取索引别的链接

<meta name="robots" content="index,nofollow">:可以抓取本页,但是不许顺着本页抓取索引别的链接

<meta name="robots" content="noindex,nofollow">:不许抓取本页,也不许顺着本页抓取索引别的链接。

这里需要注意的是,不要把两个对立的反义词写到一起,例如

<meta name="robots" content="index,noindex">

此外对于多命令,这里有一个简便的写法,

如果是 <meta name="robots" content="index,follow">

的形式的话,可以写成:<meta name="robots" content="ALL">

如果是 <meta name="robots" content="noindex,nofollow">

的形式的话,可以写成:<meta name="robots" content="NONE">

如果是对于单独的某个搜索引擎不允许建立快照,例如谷歌,我们就可以写成:

<meta name="Googlebot" content="index,follow,noarchive">

如果在元标记中不屑关于蜘蛛的命令,那么默认的命令即为如下

<meta name="robots" content="index,follow, archive">

因此,如果我们对于这一部分把握不准的话,可以直接写上上面的这一行命令,或者是直接留空。

转载请注明:合肥SEO » noindex,nofollow禁止搜索引擎抓取本页面

喜欢 ()or分享
QQ客服
联系QQ客服
电话咨询
免费热线:151-5505-5380