(2)分布式下的爬虫Scrapy应该如何做-关于对Scrapy的反思和核心对象的介绍

9月 2, 2015 9条评论 29,965次阅读 11人点赞

本篇主要介绍对于一个爬虫框架的思考和，核心部件的介绍，以及常规的思考方法：

猜想

我们说的爬虫，一般至少要包含几个基本要素：

1.请求发送对象(sender,对于request的封装，防止被封)

2.解析文档对象(将请求的网页当作是html文档还是字符串)

3.承载所需要的解析对象(标准格式的数据承载者)

4.获取所需对象后的操作者 (得到对象后，是以文件形式保存还是存入数据库)

5.整个流程的错误处理者(整个流程的异常监控者)

《(2)分布式下的爬虫Scrapy应该如何做-关于对Scrapy的反思和核心对象的介绍》

验证

我们来看看Scrapy 提供了哪些核心的对象

基本概念

命令行工具(Command line tools): 学习用于管理Scrapy项目的命令行工具
Items: 定义爬取的数据
Spiders: 编写爬取网站的规则
选择器(Selectors): 使用XPath提取网页的数据
Scrapy终端(Scrapy shell): 在交互环境中测试提取数据的代码
Item Loaders: 使用爬取到的数据填充item
Item Pipeline: 后处理(Post-process)，存储爬取的数据
Feed exports: 以不同格式输出爬取数据到不同的存储端
Link Extractors: 方便用于提取后续跟进链接的类。

refer from :https://scrapy-chs.readthedocs.org/zh_CN/0.24/

基本上我们所设想的对象Scrapy都会包含在里面了

爬取

我们知道，一般爬虫都是按如下规则来爬取数据的

输入目标网址=> 编写处理规则(正则表达式或者xpath语法)=>对得到的数据进行处理

Scrapy的做法如下：

1)新建一个项目

以命令行形式切换到需要将代码放置的文件夹下，然后输入如下命令：

scrapy startproject cnblogs

1	scrapy startproject cnblogs

文件夹下会生成一个cnblogs的文件下，切换到该文件夹下（记住切换）

《(2)分布式下的爬虫Scrapy应该如何做-关于对Scrapy的反思和核心对象的介绍》

Item.py就是我们所需要数据承载器

修改为如下代码：

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html

import scrapy
from scrapy.item import Field,Item

class CnblogsItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()

    Title = Field()
    TitleUrl = Field()

# -*- coding: utf-8 -*-

# Define here the models for your scraped items

# See documentation in:

# http://doc.scrapy.org/en/latest/topics/items.html

import scrapy

from scrapy.item import Field,Item

class CnblogsItem(scrapy.Item):

# define the fields for your item here like:

# name = scrapy.Field()

Title = Field()

TitleUrl = Field()

在Spider文件夹下添加BasicGroupSpider.py 修改为如下内容

from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from cnblogs.items import CnblogsItem

class CnblogsSpider(BaseSpider):
    name = "cnblogs" #spider的名字
    allowed_domains = ["cnblogs.com"]
    start_urls = [
        'http://www.cnblogs.com/'
        ]  #待抓取的列表

    def parse(self, response):
        self.log("Fetch douban homepage page: %s" % response.url)
        hxs = HtmlXPathSelector(response)

        #authors = hxs.select('//a[@class="titlelnk"]')

        items = hxs.select('//a[contains(@class, "titlelnk")]')

        listitems = []

        for author in items:
            #print author.select('text()').extract()
            item = CnblogsItem()
            #property
            item['Title'] = author.select('text()').extract()
            item['TitleUrl'] =author.select('@href').extract()
            listitems.append(item)

        return listitems

from scrapy.spider import BaseSpider

from scrapy.selector import HtmlXPathSelector

from cnblogs.items import CnblogsItem

class CnblogsSpider(BaseSpider):

name = "cnblogs" #spider的名字

allowed_domains = ["cnblogs.com"]

start_urls = [

'http://www.cnblogs.com/'

] #待抓取的列表

def parse(self, response):

self.log("Fetch douban homepage page: %s" % response.url)

hxs = HtmlXPathSelector(response)

#authors = hxs.select('//a[@class="titlelnk"]')

items = hxs.select('//a[contains(@class, "titlelnk")]')

listitems = []

for author in items:

#print author.select('text()').extract()

item = CnblogsItem()

#property

item['Title'] = author.select('text()').extract()

item['TitleUrl'] =author.select('@href').extract()

listitems.append(item)

return listitems

OK ,回到第一步的命令台的界面，输入如下命令

scrapy crawl cnblogs --logfile=test.log -o cnblogs.json -t json

1	scrapy crawl cnblogs --logfile=test.log -o cnblogs.json -t json

结果

《(2)分布式下的爬虫Scrapy应该如何做-关于对Scrapy的反思和核心对象的介绍》

关于里面的代码功能，自己去理解吧，写过代码的人大致都了解。

====>DEMO下载<====

总结

本次主要分析了爬虫框架的大致构件，并验证了我们的猜想，关于python的爬虫框架有很多，不过像scrapy这样值得入手和研究的，比较少了，.net下的更少了。

本作品采用知识共享署名-相同方式共享 4.0 国际许可协议进行许可

php开发说道：

11月 17, 2016 6:41 下午

BasicGroupSpider.py中第一行from scrapy.spider import BaseSpider中的 spiders少个s，应该为from scrapy.spiders import BaseSpider希望楼主验证自己代码

回复
1. hi,I'm frank说道：
  
  11月 17, 2016 8:27 下午
  
  你好,正常的情况也是可以导入的，只是会提示：ScrapyDeprecationWarning: Module scrapy.spider is deprecated, use scrapy.spiders instead ，并不影响正常的执行效果。
  
  回复
  1. php开发说道：
    
    11月 18, 2016 5:25 下午
    
    好的，我以为会无法执行
    
    回复
周说道：

2月 27, 2017 10:28 上午

希望能有代码讲解。如果只是甩出代码的话，不如发布到github好了。

回复
1. hi,I'm frank说道：
  
  4月 11, 2017 8:26 下午
  
  已经甩到github上了，这种东西，别人讲解占一小部分，自己的努力，是一大部分
  
  回复
d说道：

8月 24, 2017 8:46 上午

例子里的api有点过时了，response不必再调用HTMLXPathSelector，直接用selector就可以
response.selector.xpath
参考 https://stackoverflow.com/questions/24560395/scrapy-spider-not-scraping-correctly

回复
1. bruce说道：
  
  8月 24, 2017 9:47 下午
  
  正解，现在的内容都已经可以直接返回response类，里面自带reponse.xpath 和response.css 相关的查找文档方式
  
  回复
simon说道：

10月 3, 2017 11:12 上午

改进了一下代码
python from scrapy.spider import BaseSpider
from ..items import CnblogsItem class CnblogsSpider(BaseSpider): name = "cnblogs" # spider的名字 allowed_domains = ["cnblogs.com"] start_urls = [ 'http://www.cnblogs.com/' ] # 待抓取的列表 def parse(self, response): self.log("Fetch douban homepage page: %s" % response.url) items = [] for author in response.xpath('//a[contains(@class, "titlelnk")]'): item = CnblogsItem() item['Title'] = author.select('text()').extract_first() item['TitleUrl'] = author.select('@href').extract_first() items.append(item) return items

回复
Pingback： [置顶]scrapy爬虫教程导航 - 大鱼的鱼塘