最近阅读了robots.txt协议的全部内容，感觉其作用非常强大。于是自己尝试这去写自己的网站：极客志的robots.txt文件。在这过程中整理了一些很实用的知识点，在此跟大家分享一下。
方法/步骤
1
首先介绍一下功能设置：User-agent： * 表示允许所有蜘蛛采集；disallow告诉蜘蛛不要抓取某些文件或目录。如下面代码将阻止蜘蛛抓取所有的网站文件（/代表跟目录）：User-agent: *Disallow: /Allow： /告诉蜘蛛应该抓取某些文件。Allow和Disallow配合使用，可以告诉蜘蛛某个目录下，哪些内容可以抓取，哪些内容禁止抓取。如下面代码将使蜘蛛不抓取wp-admin目录下其他文件，而只抓取其中ab下的文件：User-agent: *Disallow: /wp-admin/Allow: /wp-admin/ab
3
下面以我的网站为例子示范一下，根据协议，极客志网站的robots.txt协议为：# # Robots.txt file from http:/www.jikezhi.cn # All robots will spider the domain # User-agent: *Allow:/sitemap: http://www.jikezhi.cn/sitemap.xmlsitemap: http://www.jikezhi.cn/sitemap.htmlsitemap: http://www.jikezhi.cn/sitemap_baidu.xmlxiDisallow:/wp-admin/
注意事项
编写代码时要仔细
上一篇：qq音乐播放器怎么使用电台