网站地图作为根据网站的结构,框架,内容生成的导航网页文件,也就是sitemap,是一个网站所有链接的容器。很多网站的链接层次比较深,蜘蛛是很难抓取到的,网站地图可以方便搜索引擎蜘蛛抓取网站页面,通过抓取网站页面,可以清晰的了解网站的架构。网站地图一般存放在根目录下并命名为sitemap,为搜索引擎蜘蛛引路,增加网站重要内容页面的收录。
工具/原料
电脑
方法/步骤
1
百度搜索小爬虫网站地图生成工具,进入网站,选择网站对应的编码,点击“生成”按钮(建议使用搜狗浏览器或者google浏览器)
2
等待小爬虫爬行网站,爬行时间根据网站内容多少和服务器访问速度不定,如果数据较多,则建议晚上10点以后操作
3
下载sitemap.xml或者sitemap.html文件,上传到网站根目录,在首页做链接
注意事项
建议将sitemap.xml和robort.txt文件放在网站的根目录下
上一篇:我的世界指令定位法
下一篇:我的世界创造指令怎么输入