(5)分布式下的爬虫Scrapy应该如何做-关于爬虫的调度机制与调度架构的构想

调度组件

分析

我们使用scrapyd作为爬虫的执行者,关于scrapyd部署爬虫,请参考文章爬虫应该怎么部署到ubuntu上,这样在每一台机器都留出了http的api接口,我们只需要使用一个定时任务就可以正常的轮询我们的爬虫了,有人说使用crontab,其实也是可以的,只是这样不算太方便

使用

在确保tiktok安装好之后,我们直接新建一个任务,在任务的脚本里面写命令行

以上的就是我们的scrapyd命令,然后我们选择时间,多长时间运行一次,因为tiktok本身的内置调度就是基于cron的表达式,不过我已经做好了插件

如图选择好时间,然后点击保存,就可以正常的运行了

点赞
  1. leo说道:

    看不懂 这是用什么语言编写的?

    1. hi,I'm frank说道:

      用.net写的,就是将运行spider的命令行过程及各种情况下用GUI 的form工具 ,详情的地址可以去https://github.com/BruceDone/ScrapyForm 关注

发表评论

电子邮件地址不会被公开。 必填项已用*标注