在python的爬虫的很多面试题或者是一些题目之中总会出现scrapy和scrapy-redis的区别是什么，那么下面的这一篇文章就来详细的讲解一下这个问题并讲一下redis的含义和作用，往下看看吧。
一、区别
scrapy是一个使用人数众多、功能完善的python爬虫开发框架，它具有极高的自定义扩展功能并且能够极大的提高爬虫抓取速度效率，让python爬虫程序的开发变得更加简单。但是它不支持分布式，所以就需要用到redis了。
scrapy-redis是一个基于scrapy框架和redis数据库开发出来并可以运行在scrapy框架之上的一个组件，这个组件最大的作用就是可以让它去支持分布式的策略进行开发。能够让scrapy框架使用redis数据库的请求队列和item队列将整个抓取数据的功能分为不同的部分去执行，可以有效的提高爬虫的运行速度。
二、redis
redis是一个基于内存的数据库，它和其他的数据库最大的不同点在于redis无论是存储数据还是读取数据都是在内存之中去进行的。这也就导致了使用它会对内存造成极大地压力，所以需要使用分布式去缓解。但是redis数据库也有着一个巨大的优点就是运行速度十分快速，能够支撑起高频的数据读取。
以上就是关于“Scrapy和scrapy-redis有什么区别？redis有什么作用”的全部内容了，想要了解更多python的实用知识和代码示例可以持续关注这个频道，每次更新都会有很多新的知识技术分享给大家。
更多python相关文章请访问分类：python
【版权声明】本文图文出自大盘站@dapan.cc，转载请注明出处！
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
