多语言展示
当前在线:523今日阅读:168今日分享:49

RestSharp爬虫辅助 轻松发起含cookie的http请求

有时候想要从网页上面爬取一点信息,但是又懒得自己手动一个一个复制粘贴,这个时候就可以通过代码发起http请求,将网页内容获取成字符串,再借助NSoup或者截取字符串,或者其他方式从字符串中提取需要的内容
方法/步骤
1

创建ASP.NET MVC项目MVCRestSharp用于演示RestSharp发起http请求的使用方式。     注意:最新版本的RestSharp需要4.6的Framework。如果使用低于4.6的Framework,下一步界面请选择低版本的RestSharp

2

在刚创建的MVCRestSharp项目上点击鼠标右键,选择【管理 NuGet 程序包】,在打开界面中点击【浏览】,输入【RestSharp】,选择搜索结果的第一个选项,点击右侧的安装。     注意:如果创建项目的时候不是选择的4.6 Framework,此时请选择低版本的RestSharp

3

在HomeController的顶部添加RestSharp工具的引用

4

如何发起一个页面的Http请求,大致有以下几步:     1)创建RestClient实例,填充页面的地址     2)设置超时时间     3)设置请求方式get/post等     4)执行请求,得到结果     5)详细代码参见截图

5

在HomeController中设置断点,按F5启动调试,监控请求结果,就可以看到页面的html内容

6

在http请求时,如何将cookie作为参数发送过去呢?使用AddParameter方法,执行类型为ParameterType.Cookie即可

7

如何发起一个http的Post请求:     1)首先修改请求方式为Method.POST     2)参数通过AddParameter方法添加即可

推荐信息