深入了解scrapy
问题一：scrapy是一深度优先还是广度优先进行爬取的呢
默认的情况下，scrapy使用LIFO队列来存储等待的请求，简单的说scrapy是以深度进行爬取的。深度优先对大多数的情况下更方便。如果您想要以广度优先的情况进行爬取的话，您可以设置一下内容
DEPTH_PRIORITY = 1
SCHEDULER_DISK_QUEUE = 'scrapy.squeue.PickleFifoDiskQueue'
SCHEDULER_MEMORY_QUEUE = 'scrapy.squeue.FifoMemoryQueue'
转载请注明原文地址: https://ju.6miu.com/read-15189.html
