电脑/笔记本
robots.txt文件是什么？robots.txt是存放在网站根目录下的一个TXT文本文档，它是网站和蜘蛛之间的一个协议（蜘蛛协议）。
robots.txt文件哟什么用？robots.txt的作用是告诉搜索引擎爬虫，网站的哪些文件夹可以抓取，哪些文件夹不能抓取，从而确保我们网站的隐私内容不会被索引。
书写robots文件注意事项：1.robots文件的后缀必须是.txt；2.robots文件应该存放在网站的根目录，而且所有字母都必须小写；3.在写robots文件的时候，User-agent、Disallow、Allow、Sitemap这些词开头第一个字母必须大写，后面的字母则要小写；4.特别注意，在:后面必须有一个英文状态下的空格。
禁止访问和允许访问：禁止所有搜索引擎访问：User-agent: *Disallow: / =====华丽丽的分割线=====允许所有搜索引擎访问：User-agent: *Allow: /注意：在:后面/前面有一个英文状态下的空格，空格必须有，必须是英文状态下的
禁止搜索引擎访爬虫问网站中的某些目录：假设【abc】是我网站根目录的一个文件夹，写法分别如下：User-agent: *Disallow: /abc禁止搜索引擎访问abc文件夹及abc文件夹下面的所有文件 =====华丽丽的分割线=====User-agent: *Disallow: /abc/禁止搜索引擎访问abc文件夹下面的所有文件，但是abc文件夹是允许被访问的
禁止搜索引擎爬虫访问某一类文件：例如我们要禁止搜索引擎蜘蛛访问css、js、php等文件，可以这样写：User-agent: *Disallow: /*.css$Disallow: /*.js$Disallow: /*.php$注意：*表示所有，$表示结尾
禁止访问网站中的动态页面：User-agent: *Disallow: /*?*注意：？表示动态路径，*表示所有。
只允许搜索引擎爬虫访问网站首页：User-agent: *Disallow: /*
最后是我一个网站的robots.txt的文件，我是这样写的，大家可以作参考：
如果本经验对您有所帮助，请为我投上一票！