网站robots文件怎么写？规范的robots文件写法

robots文件

网站服务器后台

Robots协议网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容，更好的保护用户的隐私和版权信息。

robots文件的存放位置放在网站的根目录下

robots文件写法的格式与参数说明如下图

robots文件中常用的通配符说明

robots文件写法参考