Scrapy 项目的核心配置文件
User Agent
首先，确定你的电脑上已经安装了 Python 3 以及对应的 pip。可以使用下面的命令查看：
如果没有安装的话，推荐使 Homebrew 这个工具来进行安装。pip 是 Python 的一个包管理工具，类似于 npm，可以在线安装、卸载所有的第三方 Python 模块，并自动处理依赖关系。这里我们使用下面的命令来安装 Scrapy 模块：
教程：一个抓取豆瓣电影 Top 250 的爬虫首先，我们使用下面的命令来创建并初始化 Scrapy 项目：
这样便会在当前目录下创建一个 doubanmovie 的爬虫项目，其内部结构如下：
其中：scrapy.cfg 为 Scrapy 项目的核心配置文件items.py 用于定义爬虫程序爬取到的数据实体的属性结构piplines.py 用于定义爬虫程序每次爬取到的数据实体进行后续处理的操作流程，比如写入文件系统或数据库settings.py 为爬虫程序的配置文件，可以在这里定义多个 pipline 和 middlewarespiders 文件夹中存放爬虫文件接着，我们需要在 items.py 文件中定义电影实体的属性结构：
然后，我们使用下面的命令来创建一个名为 doubanspider 的爬虫程序：
运行之后会在 spiders 目录下生成一个名为 moviespider.py 的爬虫文件，内部定义了爬虫的名称、作用域及起始 URL 等基本信息，以及一个解析函数，该函数的主要功能便是通过 XPath 分析页面中的 HTML 元素，并将解析结果输出：
通过爬虫解析后的实体数据，会通过一种 Pipeline 的过程将结果进行打印输出、存入文件或数据库等：
由于豆瓣电影的网站设置了防爬虫技术，所以在完成上述步骤后运行爬虫会出现 403 的 HTTP 状态码。于是我们需要在发送的请求中加入 User Agent 信息来伪装成一个浏览器：
最后，我们将上述修改写入配置文件：
运行 scrapy crawl moviespider 命令，便会在控制台中输出爬取到的数据。
如果没有安装的话，推荐使 Homebrew 这个工具来进行安装。
豆瓣电影 Top 250 的爬虫