大部分人都会用python去写爬虫,其实C#写爬虫也是很方便的,下面小编给大家演示一下C#如何写爬虫。
方法/步骤
1
首先要安装HtmlAgilityPack这个解析库,如下图所示
2
然后实例化HtmlWeb,设置页码,爬取的连接,通过Load方法获取html,如下图所示
3
接着就是对获取的html进行解析了,主要是用到SelectSingleNode,如下图所示
4
然后就是组装插入数据库的数据了,如下图所示
5
解析完一个注意加页码获取下一页的html,如下图所示
6
最后就是插入数据库的方法,如下图所示
总结
1,安装HtmlAgilityPack这个解析库2,实例化HtmlWeb,设置页码,爬取的连接,通过Load方法获取html3,对获取的html进行解析了,主要是用到SelectSingleNode4,组装插入数据库的数据5,解析完一个注意加页码获取下一页的html6,最后就是插入数据库的方法
下一篇:Python 简易爬虫开发教程