VB.net 2010 视频教程 VB.net 2010 视频教程 python基础视频教程
SQL Server 2008 视频教程 c#入门经典教程 Visual Basic从门到精通视频教程
当前位置:
首页 > temp > 简明python教程 >
  • scrapy运行定量爬虫

假设需求

现在大概有三千个scrapy的爬虫文件,10台机器,如何合理的分配爬虫?什么,这么简单的数学题还要问,一台机器分300个爬虫不就行了。确实,这样分配最简单也最直接,但会带来一些问题。就比如,有些站点网页少而有些网站很大,每个爬虫运行的时间是不一样的,最后可能导致一台累死,九台围观。而且一台机器同时运行300个爬虫,在硬件资源上的消耗会很大,也可能会导致很多爬虫无法正常运行,所以即使是这样分配爬虫我们也要限制同时运行的爬虫数量。当某个爬虫运行完了,才执行下一个。

解决方法

可以先创建出一个队列,队列里存放待抓取的爬虫(通常会创建三个,分别是pending(待抓取)、running(正抓取)、finished(已抓取))。然后每台机器开始都取指定数量的爬虫运行,当其中一个运行完,在去任务队列里取,直到队列空了。

实现

这种数量不多的队列使用Redis的集合就行,我们创建pending、running、finished三个集合,然后将所有的爬虫的name字段存放在pending集合中(当然爬虫文件名也可以,只是启动爬虫的方式稍微不一样),接着我们就可以写个脚本来运行爬虫了。
方式有两种:

一、crawl命令

伪代码:

pending.add(所有爬虫)
while True:
	if  len(running) < 指定数量:
		spider = pending.pop()
		多进程执行:f'scrapy crawl {spider}'
	else:
		time.sleep(指定时间)

然后只要编写一个extension来同步爬虫状态到Redis里

class SpiderCountLimit:

    def __init__(self, count):
        self.spider_count = count
        self.r = redis.Redis(decode_responses=True)

    @classmethod
    def from_crawler(cls, crawler):
        count = crawler.settings.get('SPIDER_COUNT', 20)
        ext = cls(count)
        crawler.signals.connect(ext.spider_closed, signal=signals.spider_closed)
        crawler.signals.connect(ext.spider_opened, signal=signals.spider_opened)
        return ext

    def spider_closed(self, spider, reason):
        self.r.srem('running', spider.name) # 爬虫关闭时,删除running中的爬虫
        self.r.sadd('finished', spider.name) # 加入到已完成队列

    def spider_opened(self, spider):
        self.r.sadd('running', spider.name) # 添加爬虫到running中

这种方法就不多说了,因为我没尝试,直接看第二种

二、Crawler API

伪代码:(不懂怎么用的Crawler API可以看scrapy自定义命令)

for i in range(指定数量):
	crawler_process.crawl(pending.pop())
crawler_process.start()
while True:
	if  len(running) < 指定数量:
		多进程执行:
			crawler_process.crawl(pending.pop())
			crawler_process.start()
	else:
		time.sleep(指定时间)

因为crawler_process.start()这个语句是阻塞的,所以需要多进程来执行。也可以去掉多进程,把extension的内容改成这样:

class SpiderCountLimit:

    def __init__(self, count):
        self.spider_count = count
        self.r = redis.Redis(decode_responses=True)

    @classmethod
    def from_crawler(cls, crawler):
        count = crawler.settings.get('SPIDER_COUNT', 20)
        ext = cls(count)
        crawler.signals.connect(ext.spider_closed, signal=signals.spider_closed)
        crawler.signals.connect(ext.spider_opened, signal=signals.spider_opened)
        return ext

    def spider_closed(self, spider, reason):
        self.r.srem('running', spider.name)
        self.r.sadd('finished', spider.name)

        spider = self.r.spop('pending')
        process = CrawlerProcess()
        process.crawl(spider)
        process.start() 
        
    def spider_opened(self, spider):
        self.r.sadd('running', spider.name)

不过我感觉这个方法不如多进程添加,因为上面提到process.start() 是阻塞的,也就是说spider_closed这个方法一直没有结束,这可能会带来一些无法预见的问题。

至于其他一些细节上的优化就自己思考了,比如改用进程池来管理进程等。


相关教程