scrapy 加入redis去重之后出现了如下报错，为什么

使用scrapy-redis后，过滤重复的request不能使用原来scrapy的过去组件，要scrapy-redis的，在settings.py上配置DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" 可以查看文档!