包含标签 dagobah 中的文章

[置顶]scrapy爬虫教程导航

教程导航 (1)分布式下的爬虫Scrapy应该如何做-安装 (2)分布式下的爬虫Scrapy应该如何做-关于对Scrapy的反思和核心对象的介绍 (3)分布式下的爬虫Scrapy应该如何做-递归爬取方式,数据输出方式以及数据库链接 (4)分布式下的爬虫Scrapy应该如何做-规则自动爬取……

阅读全文

[调度]可视化的调度架构-Dagobah

Dagobah 简介 Dagobash 是用 python 编写的一个简单的基于依赖关系的作业调度器。 Dagobah 允许你使用 Cron 语法安排调度工作,你可以非常简单的通过 web 界面点击拖动来定义每个工作的一系列任务的依赖关系。 Dagobash 可以让你重试失败的单个任务,给你发送有用的工作任务成功和失败的报告,并且可以在多种后台持久化你的数据,这样你就不用担心……

阅读全文

最近文章

分类

标签

友情链接

其它