(13)分布式下的爬虫Scrapy应该如何做-分布式架构

8月 11, 2016 12条评论 29,235次阅读 3人点赞

上一篇我们已经讲了是什么，为什么的问题，从我们一些简单的实例中分析了分布式的一些优势，以及一些现有的，基于scrapy的分布式的框架。接下来就是分享我工作中使用的框架基本思想

源码

我们先从scrapy的Spider源码来看

    def from_crawler(cls, crawler, *args, **kwargs):
        spider = cls(*args, **kwargs)
        spider._set_crawler(crawler)
        return spider

    def set_crawler(self, crawler):
        warnings.warn("set_crawler is deprecated, instantiate and bound the "
                      "spider to this crawler with from_crawler method "
                      "instead.",
                      category=ScrapyDeprecationWarning, stacklevel=2)
        assert not hasattr(self, 'crawler'), "Spider already bounded to a " \
                                             "crawler"
        self._set_crawler(crawler)

    def _set_crawler(self, crawler):
        self.crawler = crawler
        self.settings = crawler.settings
        crawler.signals.connect(self.close, signals.spider_closed)

    def start_requests(self):
        for url in self.start_urls:
            yield self.make_requests_from_url(url)

    def make_requests_from_url(self, url):
        return Request(url, dont_filter=True)

    def parse(self, response):
        raise NotImplementedError

def from_crawler(cls, crawler, *args, **kwargs):

spider = cls(*args, **kwargs)

spider._set_crawler(crawler)

return spider

def set_crawler(self, crawler):

warnings.warn("set_crawler is deprecated, instantiate and bound the "

"spider to this crawler with from_crawler method "

"instead.",

category=ScrapyDeprecationWarning, stacklevel=2)

assert not hasattr(self, 'crawler'), "Spider already bounded to a " \

"crawler"

self._set_crawler(crawler)

def _set_crawler(self, crawler):

self.crawler = crawler

self.settings = crawler.settings

crawler.signals.connect(self.close, signals.spider_closed)

def start_requests(self):

for url in self.start_urls:

yield self.make_requests_from_url(url)

def make_requests_from_url(self, url):

return Request(url, dont_filter=True)

def parse(self, response):

raise NotImplementedError

基中的start_requests方法，这几乎是每一个spider的入口函数。那换句话说，如果在给每个start_requests方法都去执行一段拿着和当前spider的特征key 去取分配给当前的spider的队列中的url ，那该spider 是不是就可以分布式了？当然显然是可以的。

main_spider 负责生产,生产完成之后将生成的url 放入到redis的url队列里面，打上特殊的key
item_spider 负责消费，消费这些url ，item spider可以放入到不同的机器里面

通过这样方式，可以很轻松的实现分布式的基本思想。

配置

先来看看我的item_spider应该如何写

# -*- coding: utf-8 -*-
from scrapy import Request
from scrapy.spiders import Spider
from yohobuy_item_spider import YohobuyItemSpider


class YohobuyItemFromSeedApiSpider(Spider):
    name = 'yohobuy_item_from_seed_api'

    start_urls = []

    def __init__(self, get_seed_req_url):
        self.storage_key = 'yohobuy'
        self.start_urls = [get_seed_req_url % self.storage_key]
        super(YohobuyItemFromSeedApiSpider, self).__init__(self.name)

    def start_requests(self):
        for url in self.start_urls:
            # this is a api call for seed urls. we shouldn't cache it
            yield Request(url, self.parse_urls, meta={'dont_cache': True}, headers={'Accept': 'application/json'})

    def parse_urls(self, response):
        from json import loads
        body = response.body_as_unicode()
        reqs = loads(body, encoding='utf-8')
        for req in reqs.get('urls', []):
            url = req['url']
            yield Request(url,
                          callback=YohobuyItemSpider.parse_item,
                          meta={
                              'storage_key': self.storage_key
                          },
                          headers={
                              'Referer': 'http://m.jd.com/',
                              'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1664.3 Safari/537.36',
                              'accept-language': 'en-US,en;q=0.8,zh-CN;q=0.6,zh;q=0.4',
                              'accept': 'application/json, text/javascript, */*; q=0.01',
                          })

    @classmethod
    def from_settings(cls, settings):
        return cls(settings.get('GET_SEED_REQ_URL'))

    @classmethod
    def from_crawler(cls, crawler, *args, **kwargs):
        spider = YohobuyItemFromSeedApiSpider.from_settings(crawler.settings)
        spider._set_crawler(crawler)
        return spider

# -*- coding: utf-8 -*-

from scrapy import Request

from scrapy.spiders import Spider

from yohobuy_item_spider import YohobuyItemSpider

class YohobuyItemFromSeedApiSpider(Spider):

name = 'yohobuy_item_from_seed_api'

start_urls = []

def __init__(self, get_seed_req_url):

self.storage_key = 'yohobuy'

self.start_urls = [get_seed_req_url % self.storage_key]

super(YohobuyItemFromSeedApiSpider, self).__init__(self.name)

def start_requests(self):

for url in self.start_urls:

# this is a api call for seed urls. we shouldn't cache it

yield Request(url, self.parse_urls, meta={'dont_cache': True}, headers={'Accept': 'application/json'})

def parse_urls(self, response):

from json import loads

body = response.body_as_unicode()

reqs = loads(body, encoding='utf-8')

for req in reqs.get('urls', []):

url = req['url']

yield Request(url,

callback=YohobuyItemSpider.parse_item,

meta={

'storage_key': self.storage_key

headers={

'Referer': 'http://m.jd.com/',

'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1664.3 Safari/537.36',

'accept-language': 'en-US,en;q=0.8,zh-CN;q=0.6,zh;q=0.4',

'accept': 'application/json, text/javascript, */*; q=0.01',

})

@classmethod

def from_settings(cls, settings):

return cls(settings.get('GET_SEED_REQ_URL'))

@classmethod

def from_crawler(cls, crawler, *args, **kwargs):

spider = YohobuyItemFromSeedApiSpider.from_settings(crawler.settings)

spider._set_crawler(crawler)

return spider

其中的from_settings方法是从配置中拿GET_SEED_REQ_URL参数

from_crawler是将拿到的新的配置返回给spider对象

需要在settings.py里面配置如下的信息

GET_SEED_REQ_URL = 'http://127.0.0.1/seed-url/%s?count=100'

1	GET_SEED_REQ_URL = 'http://127.0.0.1/seed-url/%s?count=100'

通过这样的灵活配置，就可以拿到属于自己的队列，count的意思是每次拿多少的数量，这个数字可以根据自己的机器的性能来配置的。

总结

如果做到后期，建议将数据层单独抽象成一个中间件，关于数据比如，取队列，存数据，和队列数据库以及存储数据库交互的都需要放到这个层面来做。方便以后灵活的部署以迁移。

本作品采用知识共享署名-相同方式共享 4.0 国际许可协议进行许可

斌说道：

8月 11, 2016 8:25 下午

鱼哥继续坚持更新

回复
大雨的粉丝说道：

8月 31, 2016 12:24 上午

鱼哥，能不能再详细点啊。

回复
1. hi,I'm frank说道：
  
  8月 31, 2016 10:34 上午
  
  这个已经是类似的很详细的教程了，高屋建瓴，需要你有一定的水平才能理解，更详细的话你就只能拿现成的架构使用了。
  
  回复
  1. 郭敬明说道：
    
    9月 2, 2016 8:18 上午
    
    哦哦，鱼哥分布式有scrapy-redis教程吗
    
    回复
    1. hi,I'm frank说道：
      
      11月 30, 2016 10:28 上午
      
      暂时没，同样的套路，没有必要去深入了。
      
      回复
古枫说道：

9月 1, 2016 5:35 下午

一口气从第一篇看到现在，写的很详细，也很容易理解，做爬虫项目有一段时间了，不过太不系统了，也走了很多弯路，看完你的文章收获颇多，非常感谢。。。

回复
1. hi,I'm frank说道：
  
  9月 1, 2016 8:23 下午
  
  客气，能给大家带来帮助就好了，我会继续分享一些实用的内容出来的。
  
  回复
樊樊樊Kai说道：

9月 21, 2016 9:52 下午

能否请教一个问题，在结合scrapy-redis和splash使用的时候，dupefilter队列中每个url都生成了两个fingerprint。这是为什么呢？如何解决呢？

回复
1. hi,I'm frank说道：
  
  10月 3, 2016 1:53 下午
  
  貌似两个生成的内容都是调用不同的方式，你可以查考一下源代码。
  
  回复
Pingback： [置顶]scrapy爬虫教程导航 - 大鱼的鱼塘
pkz说道：

12月 13, 2018 8:34 下午

能不能看下给个完整例子的链接，这上面的代码太空了，没啥实质性的东西啊

回复
1. bruce说道：
  
  12月 14, 2018 12:04 下午
  
  start_requests 你只需要在这里添加取数据的方式，自己实现一下下就OK了。
  
  回复