多语言展示
当前在线:441今日阅读:27今日分享:41

怎样便捷的查看任何网站的robots协议

网上有很多关于查看网站的robots协议的方法,大部分都是通过工具来实现的,其实,查看所有网站的robots协议的方法,有一种是通用的,并且也非常实用。下面将讲解如何通过手动输入的方法来便捷高效的查看任何一个网站的robots.txt.
工具/原料
1

电脑

2

游览器

方法/步骤
2

接着,在输入后网站的网址后,按下回车,来到游览器上面的搜索框上。

3

然后,在该网址后面,输入“/robots.txt”,同时,按下回车

4

最后,robots.txt的内容就会展示在搜索结果页面上了

5

此外,里面的语法需要讲解一下user-agent:后面是蜘蛛的名称,表示一种代理的意思;disallowed:   表示禁止,后面的内容蜘蛛禁止抓取;allowed    :表示允许蜘蛛抓取后面文件的内容;

注意事项
1

这是一种很简单的方法

2

也可以通过工具实现

推荐信息