(2)分布式下的爬虫Scrapy应该如何做-关于对Scrapy的反思和核心对象的介绍

   本篇主要介绍对于一个爬虫框架的思考和,核心部件的介绍,以及常规的思考方法:

猜想

    我们说的爬虫,一般至少要包含几个基本要素:

   1.请求发送对象(sender,对于request的封装,防止被封)

   2.解析文档对象(将请求的网页当作是html文档还是字符串)

   3.承载所需要的解析对象(标准格式的数据承载者)

   4.获取所需对象后的操作者 (得到对象后,是以文件形式保存还是存入数据库)

   5.整个流程的错误处理者(整个流程的异常监控者)

   《(2)分布式下的爬虫Scrapy应该如何做-关于对Scrapy的反思和核心对象的介绍》

 

验证

 

我们来看看Scrapy 提供了哪些核心的对象

 

 

基本概念

命令行工具(Command line tools)
学习用于管理Scrapy项目的命令行工具
Items
定义爬取的数据
Spiders
编写爬取网站的规则
选择器(Selectors)
使用XPath提取网页的数据
Scrapy终端(Scrapy shell)
在交互环境中测试提取数据的代码
Item Loaders
使用爬取到的数据填充item
Item Pipeline
后处理(Post-process),存储爬取的数据
Feed exports
以不同格式输出爬取数据到不同的存储端
Link Extractors
方便用于提取后续跟进链接的类。

refer from :https://scrapy-chs.readthedocs.org/zh_CN/0.24/

 

基本上我们所设想的对象Scrapy都会包含在里面了

爬取

 

我们知道,一般爬虫都是按如下规则来爬取数据的

输入目标网址=> 编写处理规则(正则表达式或者xpath语法)=>对得到的数据进行处理 

Scrapy的做法如下:

1)新建一个项目

以命令行形式切换到需要将代码放置的文件夹下,然后输入如下命令:

文件夹下会生成一个cnblogs的文件下,切换到该文件夹下(记住切换)

《(2)分布式下的爬虫Scrapy应该如何做-关于对Scrapy的反思和核心对象的介绍》

 

 

Item.py就是我们所需要数据承载器

修改为如下代码:

 

在Spider文件夹下添加BasicGroupSpider.py 修改为如下内容

 

OK ,回到第一步的命令台的界面,输入如下命令

结果

 

《(2)分布式下的爬虫Scrapy应该如何做-关于对Scrapy的反思和核心对象的介绍》

 

关于里面的代码功能,自己去理解吧,写过代码的人大致都了解。

====>DEMO下载<====  

总结

本次主要分析了爬虫框架的大致构件,并验证了我们的猜想,关于python的爬虫框架有很多,不过像scrapy这样值得入手和研究的,比较少了,.net下的更少了。

点赞
  1. php开发说道:

    BasicGroupSpider.py中第一行from scrapy.spider import BaseSpider中的 spiders少个s,应该为from scrapy.spiders import BaseSpider希望楼主验证自己代码

    1. hi,I'm frank说道:

      你好,正常的情况也是可以导入的,只是会提示:ScrapyDeprecationWarning: Module scrapy.spider is deprecated, use scrapy.spiders instead ,并不影响正常的执行效果。

      1. php开发说道:

        好的,我以为会无法执行

  2. 说道:

    希望能有代码讲解。如果只是甩出代码的话,不如发布到github好了。

    1. hi,I'm frank说道:

      已经甩到github上了,这种东西,别人讲解占一小部分,自己的努力,是一大部分

  3. d说道:

    例子里的api有点过时了,response不必再调用HTMLXPathSelector,直接用selector就可以
    response.selector.xpath
    参考 https://stackoverflow.com/questions/24560395/scrapy-spider-not-scraping-correctly

    1. bruce说道:

      正解,现在的内容都已经可以直接返回response类,里面自带reponse.xpath 和response.css 相关的查找文档方式

  4. simon说道:

    改进了一下代码
    python
    from scrapy.spider import BaseSpider

    from ..items import CnblogsItem

    class CnblogsSpider(BaseSpider):
    name = "cnblogs" # spider的名字
    allowed_domains = ["cnblogs.com"]
    start_urls = [
    'http://www.cnblogs.com/'
    ] # 待抓取的列表

    def parse(self, response):
    self.log("Fetch douban homepage page: %s" % response.url)

    items = []

    for author in response.xpath('//a[contains(@class, "titlelnk")]'):
    item = CnblogsItem()
    item['Title'] = author.select('text()').extract_first()
    item['TitleUrl'] = author.select('@href').extract_first()
    items.append(item)

    return items

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据