多语言展示
当前在线:1959今日阅读:27今日分享:41

sitemap X怎么用来抓取网站

有些时候网站的内容不容易被百度抓取,这个时候我们可以借助工作来提交网站地址,帮助收录。
工具/原料
1

sitemap X

2

网站首页地址

方法/步骤
1

首先我们安装sitemap X这个软件,并且打开

3

在页面中我们可以看到工程名称,base地址,抓取文件目录深度等选项。按提示正常填写,重点是base地址请填写网站首页,抓取深度以网站的层次结构为主,可以选择最大值。然后下一步

4

在新的页面,我们选择生成 sitemap页面的格式,最大网址数量,每页的权重值,继续下一步。

5

在页面中,选择是否生成robots.txt文件,以及文字中我们允许与不允许的页面。然后直接点击抓爬即可。

注意事项

网站不要带robots.txt文件以免抓取失败

推荐信息