怎么查看网站设置的蜘蛛访问权限？这里的蜘蛛不是动物蜘蛛，是搜索引擎蜘蛛，包括百度蜘蛛、雅虎蜘蛛、搜狗蜘蛛、谷歌蜘蛛等，这些都是抓取网页内容的爬虫，当然有的搜索引擎把这个不叫蜘蛛，我这里统称为蜘蛛，方便识别。 网站需要设定蜘蛛访问的页面，需要设置不允许访问后台的文件，或者某些不需要被搜索的页面。 那么怎么查看网站给搜索引擎爬虫设置的权限是什么呢？
怎么查看网站robots.txt
2
在域名栏输入：www.baidu.com/robots.txt。回车进入。如图。
怎么查看网站robots设置的蜘蛛访问权限
2
“Disallow:”+文件夹/名 表示不被允许访问的页面或栏目页。
3
“Allow: ”+文件夹/名 表示被允许访问的页面或栏目页。
4
“Sitemap:”+ 网站地图 告诉爬虫这个页面是网站地图
注意事项
1
如果网站迟迟不被某个搜索引擎收录，那么需要检查一下robots.txt文件是否设置了权限。
2
如果不想要展现在搜索引擎中的页面出现，那么需要设置robots.txt权限，给予Disallow。