user-agent可以让我们的爬虫伪装成浏览器
工具/原料
1
pycharm
2
谷歌浏览器
方法/步骤
1
第一步:首先我们找到我们的谷歌浏览器,在搜索框中搜索about,选择version。
2
第二步:进入谷歌浏览器的version界面,我们找到用户代理选项,这个就是user-agent,我们复制它。
3
第三步:我们打开我们的pycharm,找到我们的scrapy项目文件中的settings,点击进入。
4
第四步:我们在settings中将user-agent设置为我们刚刚复制的内容。
5
第五步:最后,我们运行爬虫,我们可以看到,user-agent设置好了。快来实践一下吧。
注意事项
1
除了在settings中设置,我们还可以通过命令行设置!
2
喜欢的朋友欢迎投票和收藏啊,谢谢!