[调度]可视化的调度架构-Dagobah
Dagobah 简介 Dagobash 是用 python 编写的一个简单的基于依赖关系的作业调度器。 Dagobah 允许你使用 Cron 语法安排调度工作，你可以非常简单的通过 web 界面点击拖动来定义每个工作的一系列任务的依赖关系。 Dagobash 可以让你重试失败的单个任务，给你发送有用的工作任务成功和失败的报告，并且可以在多种后台持久化你的数据，这样你就不用担心……
[python代码生成器]jinja2模板引擎下的代码生成器
当慢慢了解做一些重复性的工作时候，我们都会思考，有没有什么办法简化工作，人因为懒洗衣服，所以有洗衣机，因为懒打扫，所以洗尘器，洗碗机，程序员们的懒，更多的是简化工作和抽象上，比如某个动作能不能封装成函数，进而封装成类，或者包，这样的懒才会有进步，才能将更多的时间放在一些值得关注的……
[读书]编写高质量的python程序的91个建议(3)
声明，这些读书笔记我都是跳跃性的去找对我项目有帮助的，有一些废话我就直接删除了，所以一般不会特定的保留顺序，如果需要参考原版，请参考书中的内容。 9.数据交换值的时候不推荐使用中间变量。 之前大家一般都会使用中间变量来交换值，现在推荐直接交互。比如 x,y = y,x 那我们更深入一点，为什么会快呢……
(11)分布式下的爬虫Scrapy应该如何做-关于ajax渲染环境splash的一些使用技巧总结
老规矩，先把相关的git地址上齐 scrapyjs：===>scrapyjs<==== splash: ===>splash<==== 文档地址：===>doc for splash<=== 在上一篇文档：关于动态js或者ajax的处理，我简单的说了一下splash的使用,如果融入到scrapy中，我们需要使用官网的提供做法，先安装sc……
[读书]编写高质量的python程序的91个建议(2)
4.在代码中添加适当的注释。 5。通过适当加添加空行使代码布局更为优雅，合理。 在一组代码表达完一个完整的思路之后，应该使用空白行进行间隔 尽量保持上下文语义的易理解性 避免过长的代码 不要为了保持水平对齐而使用多余的空格。 6.编写函数的4个原则 原则1 函数设计要尽量短小，嵌套层次不要太深 原……
[读书]编写高质量的python程序的91个建议(1)
1，理解pythonic（python化）的概念 美胜丑，显胜隐，简胜杂，杂胜乱，平胜陡，疏胜密(以最小，最明显的逻辑单元来写方法) 找到简单问题的一个方法，最好是唯一的方法(正确的解决之道) 难以解释的实现，源自不好的主意；如有非常 棒的主意，它的实现肯定易于解释(一个需求过来，先看自……
ubuntu下mysql的远程访问开启
ubuntu下的linux开启稍微有点麻烦，查了一些资料才搞定，总结一下当作以后的速查表。 1.首先，机器要开启了3306端口 root@iZ94vs9ps2zZ:~# netstat -an | grep 3306 tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN 如果前缀是127.0.0.1:3306，那至少证明没有开启端口，那如何处理呢，接下来看第二步 2.修改mysql 配置文件 cd /etc/mysql 我们查看一……
Git的三道菜，提升你的git水平
最近发现了scrapyd官方的一个bug，在fix的过程中被维护者吐嘈git水平太低了，然后多次commit了一些无用的信息，导致git的树相对混乱，这对于我这个只使用git commit push add的人提了一个醒，平常都只是将git当作一个存代码的地方，从来没有正儿八经的去看这个问题(这个问题……
(10)分布式下的爬虫Scrapy应该如何做-关于动态内容js或者ajax处理(2)
不知不觉这个系列就已经写到了第十篇，如果你跟着前面教程一步一步来，我想你对于scrapy的熟练的程度已经超过了很多人了，这个时候你可能会思考，如果我自己去写这样一个爬虫框架，我会怎么来写，如果是我，我对于队列，数据库的解析又应该怎么来处理呢。如果你能深入到这样的一个地步，我想你一……
ssh免登陆实现
背景 最近在维护mongo集群与spider集群之中，经常来回ssh 登录，非常的不方便，以下的操作可以省去大部分的工作精力 简短命令 我们可以切换到本地的ssh config 目录来重命名，这样就可以不用输入ip了 cd ~/.ssh/ vim config 结果展示 Host mongo001 HostName 192.168.8.4 Host mongo002 HostName 192.168.8.5 Host mongo003 HostName 192.168.8.6 免登录 1.在A机下生成公钥/私钥对 [hadoop@wang-PC ~]$ ssh-keygen -t rsa -P……