有时候想要从网页上面爬取一点信息,但是又懒得自己手动一个一个复制粘贴,这个时候就可以通过代码发起http请求,将网页内容获取成字符串,再借助NSoup或者截取字符串,或者其他方式从字符串中提取需要的内容
方法/步骤
1
创建ASP.NET MVC项目MVCRestSharp用于演示RestSharp发起http请求的使用方式。 注意:最新版本的RestSharp需要4.6的Framework。如果使用低于4.6的Framework,下一步界面请选择低版本的RestSharp
2
在刚创建的MVCRestSharp项目上点击鼠标右键,选择【管理 NuGet 程序包】,在打开界面中点击【浏览】,输入【RestSharp】,选择搜索结果的第一个选项,点击右侧的安装。 注意:如果创建项目的时候不是选择的4.6 Framework,此时请选择低版本的RestSharp
3
在HomeController的顶部添加RestSharp工具的引用
4
如何发起一个页面的Http请求,大致有以下几步: 1)创建RestClient实例,填充页面的地址 2)设置超时时间 3)设置请求方式get/post等 4)执行请求,得到结果 5)详细代码参见截图
5
在HomeController中设置断点,按F5启动调试,监控请求结果,就可以看到页面的html内容
6
在http请求时,如何将cookie作为参数发送过去呢?使用AddParameter方法,执行类型为ParameterType.Cookie即可
7
如何发起一个http的Post请求: 1)首先修改请求方式为Method.POST 2)参数通过AddParameter方法添加即可