北京网站优化怎么写robots.txt文件?

北京SEO优化公司

北京网络推广-百度seo优化搜索引擎关键词快速排名公司网站运营销整站推广外包

在,网站,seo,中,如何,优化,robots.txt,北京:在网站seo中如何优化robots.txt?

发布时间:2020-10-20 11:45 | 作者:谷歌优化 | 来源:http://www.tdkseo.cn


本文导读:

北京网站优化怎么写robots.txt文件?

北京网站优化怎么写robots.txt文件?

robots.txt其实是个简单的文本文件,只要标明“谁不能访问哪些链接”就可以。

在文件的第一行写入:

User-Agent: YoudaoBot

这就告诉了搜索引擎的蜘蛛下面的描述是针对名叫YoudaoBot来写的。还可以这样写:

User-Agent: *

这样的意思是向所有的蜘蛛开放。

要注意的是一个robots.txt文件只能有一个"User-Agent: *"。

接下来是写不让蜘蛛访问的链接前缀。比如:

Disallow: /private

这就告诉搜索引擎的蜘蛛不要抓取以"/private"开头的所有链接。包括/private.html,/private/some.html,/private/some/haha.html。

北京北京seo公司如果写成:

Disallow: /

则表明整个网站都不能被蜘蛛访问。

也可以分多行来指定不让蜘蛛抓取的链接前缀,比如:

Disallow: /tmp

Disallow: /disallow

说明所有以"/tmp"和"/disallow"开头的链接都不会被蜘蛛访问了。

最后形成的robots.txt文件如下:

User-Agent: YoudaoBot

Disallow: /tmp

Disallow: /private

本文分享在,网站,seo,中,如何,优化,robots.txt,北京相关内容!

上一篇:北京网站seo精简代码篇

下一篇:网站seo细节的讲解

版权声明:本网站摘录或转载的属于第三方的信息,目的在于传递更多信息,并不代表本网站赞同其观点和对其真实性负责,转载信息版权属于原媒体及作者。如其他媒体、网站或个人擅自转载使用,请自负版权等法律责任。