52讲轻松搞定网络爬虫笔记9
资料
52讲轻松搞定网络爬虫
无所不知的Scrapy爬虫框架的介绍
在前面编写爬虫的时候,如果我们使用 requests、aiohttp 等库,需要从头至尾把爬虫完整地实现一遍,比如说异常处理、爬取调度等,如果写的多了,的确会比较麻烦。
那么有没有什么办法可以提升我们编写爬虫的效率呢?当然是有的,那就是利用现有的爬虫框架。
说到 Python 的爬虫框架,Scrapy 当之无愧是最流行最强大的框架了。本节我们就来初步认识一下 Scrapy,后面的课时我们会对 Scrapy 的功能模块进行详细介绍。
Scrapy 介绍
Scrapy 是一个基于 Twisted 的异步处理框架,是纯 Py