分类 所有 中的文章

python对象下的可变类型与不可变类型

前言 python对象对于修改这个行为,大家的操作方式都是不一样的。有些对象是可变类型,所以他就可以直接修改。其它的都是不可变类型,那我们要修改他时怎么办呢,这个时候就新生成的一个对象,然后将变量名指向这个新对象,修改动作就完成了。关于可变类型与不可变类型的一个特点,我们可以先看看……

阅读全文

[转载]Python垃圾回收机制

转载自:http://www.jianshu.com/p/1e375fb40506 ,感谢作者 先来个概述,第二部分的画述才是厉害的。 Garbage collection(GC) 现在的高级语言如java,c#等,都采用了垃圾收集机制,而不再是c,c++里用户自己管理维护内存的方式。自己管理内存极其自由,可以任意申请内存,但……

阅读全文

[渲染利器]Google官方出品的js渲染环境

源起 今早儿打开群,没想到D总就顺手推荐了这个git https://github.com/GoogleChrome/rendertron 进去一看,熟悉的字样 A dockerized, headless Chrome rendering solution https://render-tron.appspot.com/ 使用docker 打包google headless 浏览器,集成在一个环境,外部预留一些常见的api ,也有node的使用包 使用 打开git地址,将代码拷到本地,切换到含有Dockerfile的目录,使用命令 docker build -t rendertron……

阅读全文

[可视化抓取]portia2.0尝鲜体验以及自动化畅想-数据输出以及原理分析

目录 环境准备 启动事项 使用指南 代码分析 总结分享 环境准备 mac os (或者ubuntu 14.04 , 16.04 也可以) docker (搜索安装) docker-compose (pip安装) docker加速 ==> 点击导航 <== 有人会问了,这次怎么多了一个镜像加速啦?因为国内的某些不可知的原因,我们docker默认的镜像点是在hub.docker.com的,所……

阅读全文

[python]yield使用的最佳实践[3]

从数据处理到并发编程 协程和生成器的关系 你可以合理的编写一些组件来连接协程和生成器 你可以自己做一个数据流,工作流的方式来处理这种场景下的数据 你可以自己编写一个事件驱动系统 一个常见的主题 将数据交由协程处理 将数据交由线程处理(通过queue) 将数据交由进程处理(通过消息) 线程和协程共同……

阅读全文

[python]yield使用的最佳实践[2] - 数据管道的处理

回顾 上一篇我们就简单的介绍了yield的两种场景 yield生产数据 (生成器) yield消费数据 (协程) Coroutines,Pipelines 以及Dataflow 数据流处理的pipeline [串行方式] 我们使用coroutine 可以将数据以pipeline的方式进行处理 send() -> coroutine -> send() -> coroutine -> send() -> coroutine 我们将整个的corouti……

阅读全文

[python]yield使用的最佳实践[1]

http://www.dabeaz.com/coroutines/Coroutines.pdf 准备 python: 2.7.12 os: mac os 结论 [使用场景] 迭代生成数据(生产者) 接收数据(消费者) 中断(协作式的任务) 任何脱离以上三个场景的使用yield,请使用其它方法处理,yield是很好用,但不至于到处都可以使用的地步 协程和生成器-Coroutines and Generators 在python2.5 开始 ,生成器就已经加入一……

阅读全文

[重大更新]可视化调度器tiktok 问世了

项目 地址 https://github.com/BruceDone/Tiktok 背景 在很早之前,博主有介绍过可视化的调度工具,dagobah,不过,那个时候dagobah相当的不稳定,动不动就会奔溃,页面就直接打不开,在尝试过各种进程保护模式,或者docker化之后,都完全无法满足工作里面的需求,后来干脆就直接打算在python2的flask,换成……

阅读全文

[Docker]ELKS收集容器日志就是这么简单

场景 随着容器的大量使用,现在docker已经在很多生产环境得到实践,不过,容器的日志,状态,确是一个大问题,我们知道,一般可以使用命令docker logs 来查看一个特定的容器,那如果想要收集当前机器所有容器的日志呢?难不成还要将所有应用都标准化一个日志组件出来,然后将日志挂载到特定目录……

阅读全文

[selenium-grid]多机分布式环境下的selenium集群

源起 还是爬虫里面的某个场景需要重度使用selenium场景 ,所以需要起这样一个集群 对比 单机 docker docker-compose 分布式集群 我们在使用selenium 的时候,我们一般就使用以上的环境和模式,单机怎么操作呢,下载相应的webdriver 单机 对于小型的使用环境,比如单线程操作,我们直接下载好相应版本的d……

阅读全文

最近文章

分类

标签

友情链接

其它