今天小编给大家讲解一下关于SEO的基础知识，robots文件的抓取。搜索引擎蜘蛛访问我们的网站最先查看的一个页面就是网站根目录下的robots.txt的纯文本文件，因为百度是遵循robots协议的，搜索引擎蜘蛛通过访问你的robots.txt文件，可以判断你的网站哪些内容是允许蜘蛛抓取，哪些内容是不允许蜘蛛抓取的。
方法/步骤
1
百度的robots文件位于：http://www.baidu.cm/robots.txt
2
只有在我们网站需要禁止抓取一些内容的时候，robots.txt才显得有意义。当robots文件不存在或者是空文件的时候都意味着允许搜索引擎抓取网站所有内容。也有因为服务器设置问题，而造成的robots文件不存在返回200状态码，这时建议就算允许搜索引擎蜘蛛抓取所有内容，也最好建一个空的robots.txt文件，放在根目录下。robots记录格式如下：
5
Disallow：禁止的目录或文件必须分开写，每个一行，不能写成：Disallow：/cgi-bin/ /tmp/ /aa/index.html下面的指令相当于允许所有搜索引擎蜘蛛抓取任何内容：
7
Allow：允许蜘蛛抓取某些文件(注意：Allow单独写没有意义，需要配合Disallow使用才行)以ab目录为例，下面的代码将不允许蜘蛛抓取/ab/目录下其他文件或目录，但是允许抓取/ab/目录下的/cd/里的内容。
8
$通配符：匹配URL结尾的字符，例如，下面的代码将允许蜘蛛抓取以.htm为后缀的URL：
10
*通配符：告诉蜘蛛匹配任意一段字符，例如，下面一段代码将禁止蜘蛛抓取所有htm文件：
11
Sitemaps位置：告诉蜘蛛XML网站地图在哪里，格式为：Sitemap：<网站地图位置>
上一篇：申论工作简报格式是什么
下一篇：腾讯新闻评论怎么看回复