它可以分为如下的几个部分：
Engine 引擎，处理整个系统的数据流处理、触发事务，是整个框架的核心。Item 项目，它定义了爬取结果的数据结构，爬取的数据会被赋值成该Item对象。Scheduler 调度器，接受引擎发过来的请求并将其加入队列中，在引擎再次请求的时候将请求提供给引擎。Downloader 下载器，下载网页内容，并将网页内容返回给蜘蛛。Spiders 蜘蛛，其内定义了爬取的逻辑和网页的解析规则，它主要负责解析响应并生成提取结果和新的请求。Item Pipeline 项目管道，负责处理由蜘蛛从网页中抽取的项目，它的主要任务是清洗、验证和存储数据。Downloader Middlewares 下载器中间件，位于引擎和下载器之间的钩子框架，主要处理引擎与下载器之间的请求及响应。Spider Middlewares 蜘蛛中间件，位于引擎和蜘蛛之间的钩子框架，主要处理蜘蛛输入的响应和输出的结果及新的请求。参考文档
