北京网站优化怎么写robots.txt文件？

robots.txt其实是个简单的文本文件，只要标明“谁不能访问哪些链接”就可以。

在文件的第一行写入：

ser-gent: oudaoot

这就告诉了搜索引擎的蜘蛛下面的描述是针对名叫oudaoot来写的。还可以这样写：

ser-gent: *

这样的意思是向所有的蜘蛛开放。

要注意的是一个robots.txt文件只能有一个"ser-gent: *"。

接下来是写不让蜘蛛访问的链接前缀。比如：

isallow: /private

这就告诉搜索引擎的蜘蛛不要抓取以"/private"开头的所有链接。包括/private.html，/private/some.html，/private/some/haha.html。

北京北京seo公司如果写成：

isallow: /

则表明整个网站都不能被蜘蛛访问。

也可以分多行来指定不让蜘蛛抓取的链接前缀，比如：

isallow: /tmp

isallow: /disallow

说明所有以"/tmp"和"/disallow"开头的链接都不会被蜘蛛访问了。

最后形成的robots.txt文件如下：

ser-gent: oudaoot

isallow: /tmp

isallow: /private