获取到了数据之后，我们可以选择把数据保存在数据库中，或者直接写在文件中。这里我们把数据保存到了 mongodb。接下来做一些统计，例如使用图表插件 echarts，将我们的统计结果展示出来。

　　5、 爬虫相关问题1）网站限制：

　　爬虫过程中可能会遇到爬不到数据了的问题，这是因为相应网站做了一些反爬的处理来进行爬取限制，比如在爬取豆瓣的时候，就遇到了 403forbidden 。怎么办？这时候可以通过一些相应的方法来解决，比如使用代理服务器，降低爬取速度等，直播，在这里我们采用每次请求 sleep2秒。

　　2）URL 去重：

　　URL 去重是爬虫运行中一项关键的步骤，由于运行中的爬虫主要阻塞在网络交互中，因此避免重复的网络交互至关重要。爬虫一般会将待抓取的 URL 放在一个队列中，从抓取后的网页中提取到新的 URL，在他们被放入队列之前，首先要确定这些新的 URL 没有被抓取过，如果之前已经抓取过了，就不再放入队列了。

　　3）并发操作：

　　Python 中的并发操作主要涉及的模型有：多线程模型、多进程模型、协程模型。在 Python 中可以通过：threading 模块、multiprocessing 模块、gevent 库 来实现多线程、多进程、或协程的并发操作。

　　scrapy —— 强大的爬虫框架

　　谈到爬虫，不得不提的是 Scrapy。Scrapy 是 Python 开发的一个快速，高层次的爬虫框架，用于抓取 web 站点并从页面中提取结构化的数据。Scrapy 用途广泛，可以用于数据挖掘、监测和自动化测试。

　　Scrapy 吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如 BaseSpider、sitemap 爬虫等。

　　scrapy 的架构：

　　其中绿线是数据流向，首先从初始 URL 开始，Scheduler 会将其交给 Downloader 进行下载，下载之后会交给 Spider 进行分析，需要保存的数据则会被送到 Item Pipeline，对数据进行后期处理。

　　另外，在数据流动的通道里还可以安装各种中间件，进行必要的处理。 因此在开发爬虫的时候，最好也先规划好各种模块。

　　注：

　　Xpath 教程：

　　Requests官方文档：