[工程] python下的测试利器pytest
目录 引言 准备 项目 总结 引言 我想现在应该很少有公司一直在主推TDD了，因为这无形之中增加了工作量，在追求极致开发的时候，一般都是能先上就先上，把主体的功能不管三七二十一怼出来再说，出了问题就直接改，也不管你的代码和之前兼容不兼容，一个大的工程，测试是绝对少不了的，覆盖率更是必须达到一……
分类 linux 中的文章
[经验]如何优雅的在docker下断点调试debug
纲领 前言 使用 过程 配置 总结 前言 随着docker的普及，现在更多的生产线上的程序都是打包成docker 应用，这样方便环境的隔离，也能提高资源的利用率，不过一旦出了问题，怎么debug就成了一个难题，我可暂时没有学会大神们的pdb debug大法，只会用pycharm 打断点调试，那如何处……
[转载]Python垃圾回收机制
转载自:http://www.jianshu.com/p/1e375fb40506 ,感谢作者 先来个概述，第二部分的画述才是厉害的。 Garbage collection(GC) 现在的高级语言如java，c#等，都采用了垃圾收集机制，而不再是c，c++里用户自己管理维护内存的方式。自己管理内存极其自由，可以任意申请内存，但……
[渲染利器]Google官方出品的js渲染环境
源起 今早儿打开群，没想到D总就顺手推荐了这个git https://github.com/GoogleChrome/rendertron 进去一看，熟悉的字样 A dockerized, headless Chrome rendering solution https://render-tron.appspot.com/ 使用docker 打包google headless 浏览器，集成在一个环境，外部预留一些常见的api ,也有node的使用包 使用 打开git地址，将代码拷到本地，切换到含有Dockerfile的目录，使用命令 docker build -t rendertron……
[scrapy]scrapy源码分析–信号事件是如何加载以及自定义信号
环境 python 2.7 scrapy 1.3.0 背景 我们在写scrapy一些拓展功能的时候，少不了会用到scrapy的extention机制，官网也有提供各种的示例，比如我们在自己手动创建一个新的project的时候，template 会创建一个middlewares.py的文件 ，里面也会有各种和信号打交道的机制,比……
[心得]如何学一门编程语言
背景 第一次学语言？怎么入手？ 去哪找资源？ 要不要买书？还是要不要报培训班？ 要不要准备一台高性能的装备？ 如果你存在以上的问题话，建议你先沉下心来，把文章看完，然后我会一条一条的分析里面的原因，给出自己的一点见解 入门 很多人都会问，我想入门语言，最快的方式是什么？你一想着快的时候，基本上……
[python]yield使用的最佳实践[2] - 数据管道的处理
回顾 上一篇我们就简单的介绍了yield的两种场景 yield生产数据 (生成器) yield消费数据 (协程) Coroutines,Pipelines 以及Dataflow 数据流处理的pipeline [串行方式] 我们使用coroutine 可以将数据以pipeline的方式进行处理 send() -> coroutine -> send() -> coroutine -> send() -> coroutine 我们将整个的corouti……
[python]yield使用的最佳实践[1]
http://www.dabeaz.com/coroutines/Coroutines.pdf 准备 python: 2.7.12 os: mac os 结论 [使用场景] 迭代生成数据(生产者) 接收数据(消费者) 中断(协作式的任务) 任何脱离以上三个场景的使用yield，请使用其它方法处理，yield是很好用，但不至于到处都可以使用的地步 协程和生成器-Coroutines and Generators 在python2.5 开始 ，生成器就已经加入一……
[Docker]ELKS收集容器日志就是这么简单
场景 随着容器的大量使用，现在docker已经在很多生产环境得到实践，不过，容器的日志，状态，确是一个大问题，我们知道，一般可以使用命令docker logs 来查看一个特定的容器，那如果想要收集当前机器所有容器的日志呢？难不成还要将所有应用都标准化一个日志组件出来，然后将日志挂载到特定目录……
[selenium-grid]多机分布式环境下的selenium集群
源起 还是爬虫里面的某个场景需要重度使用selenium场景 ，所以需要起这样一个集群 对比 单机 docker docker-compose 分布式集群 我们在使用selenium 的时候，我们一般就使用以上的环境和模式,单机怎么操作呢，下载相应的webdriver 单机 对于小型的使用环境，比如单线程操作，我们直接下载好相应版本的d……