网络爬虫类型

聚焦网络爬虫（Focused Crawler），是按照预先定义好的主题有选择地惊醒网页爬取，爬取目标为与主题相关的页面，该爬虫大大节省爬取所需的带宽和服务器资源，适用于特定人群。    聚焦网络爬虫主要由初始URL集合、URL队列、页面爬行模块、页面分析模块、页面数据库、链接过滤模块、内容评价模块、链接评价模块等构成。

增量式网络爬虫（Incremental Web Crawler），所谓增量式，即增量式更新。增量式更新指的是再更新的时候只更新改变的地方，而为改变的地方则不更新，所以该爬虫只爬取内容发生变化的网页或者新产生的网页。

深层网络爬虫（Deep Web Crawler），首先，什么是深层页面？    在互联网中，网页按存在方式划分为表层页面和深层页面。所谓表层页面，指的是不需要提交表单，使用静态的链接能够到达的静态页面；而深层页面是需要调教一定的关键词之后才能获取的页面。在互联网中，深层页面数量往往比表层页面多得多。     深层网络爬虫主要由URL列表、LVS列表、爬行控制器、解析器、LVS控制器、表单分析器、表单处理器、响应分析器等构成。

URL地址的标准化：在WWW上，一个URL地址可以有多种表示方法，可以用IP地址表示，也可以用域名来表示。为了避免爬虫重复访问同一地址。

避免掉进网络陷阱：网络上的链接情况比较复杂，一些静态的网页可能构成闭环回路。为了避免爬虫在一条循环路线上反复抓取，在把URL加入待搜索地址列表之前都要检查是否已在待搜索的地址列表中出现过。对于动态网页，爬虫应该忽略所有带参数的URL。

对于拒绝访问的页面，爬虫应该遵从“漫游拒绝访问规则”。