[可视化抓取]portia2.0尝鲜体验以及自动化畅想-数据存储入mongodb
总览 环境 分析 猜想 实施 总结 环境 mac or ubuntu 16.04 docker 分析 上一章节，==> [可视化抓取]portia2.0尝鲜体验以及自动化畅想-数据输出以及原理分析 <== 我们已经分析了portia 数据 输出的方式，以及从代码的层面来分析它实际的运作原理，群里有小伙伴以及微信私信问我：大鱼，这个怎么和我们的数据……
[经验]如何优雅的在docker下断点调试debug
纲领 前言 使用 过程 配置 总结 前言 随着docker的普及，现在更多的生产线上的程序都是打包成docker 应用，这样方便环境的隔离，也能提高资源的利用率，不过一旦出了问题，怎么debug就成了一个难题，我可暂时没有学会大神们的pdb debug大法，只会用pycharm 打断点调试，那如何处……
python对象下的可变类型与不可变类型
前言 python对象对于修改这个行为，大家的操作方式都是不一样的。有些对象是可变类型，所以他就可以直接修改。其它的都是不可变类型，那我们要修改他时怎么办呢，这个时候就新生成的一个对象，然后将变量名指向这个新对象，修改动作就完成了。关于可变类型与不可变类型的一个特点，我们可以先看看……
[转载]Python垃圾回收机制
转载自:http://www.jianshu.com/p/1e375fb40506 ,感谢作者 先来个概述，第二部分的画述才是厉害的。 Garbage collection(GC) 现在的高级语言如java，c#等，都采用了垃圾收集机制，而不再是c，c++里用户自己管理维护内存的方式。自己管理内存极其自由，可以任意申请内存，但……
[渲染利器]Google官方出品的js渲染环境
源起 今早儿打开群，没想到D总就顺手推荐了这个git https://github.com/GoogleChrome/rendertron 进去一看，熟悉的字样 A dockerized, headless Chrome rendering solution https://render-tron.appspot.com/ 使用docker 打包google headless 浏览器，集成在一个环境，外部预留一些常见的api ,也有node的使用包 使用 打开git地址，将代码拷到本地，切换到含有Dockerfile的目录，使用命令 docker build -t rendertron……
[scrapy]scrapy源码分析–信号事件是如何加载以及自定义信号
环境 python 2.7 scrapy 1.3.0 背景 我们在写scrapy一些拓展功能的时候，少不了会用到scrapy的extention机制，官网也有提供各种的示例，比如我们在自己手动创建一个新的project的时候，template 会创建一个middlewares.py的文件 ，里面也会有各种和信号打交道的机制,比……
[可视化抓取]portia2.0尝鲜体验以及自动化畅想-数据输出以及原理分析
目录 环境准备 启动事项 使用指南 代码分析 总结分享 环境准备 mac os (或者ubuntu 14.04 , 16.04 也可以) docker (搜索安装) docker-compose (pip安装) docker加速 ==> 点击导航 <== 有人会问了，这次怎么多了一个镜像加速啦？因为国内的某些不可知的原因，我们docker默认的镜像点是在hub.docker.com的，所……
[心得]如何学一门编程语言
背景 第一次学语言？怎么入手？ 去哪找资源？ 要不要买书？还是要不要报培训班？ 要不要准备一台高性能的装备？ 如果你存在以上的问题话，建议你先沉下心来，把文章看完，然后我会一条一条的分析里面的原因，给出自己的一点见解 入门 很多人都会问，我想入门语言，最快的方式是什么？你一想着快的时候，基本上……
[python]yield使用的最佳实践[3]
从数据处理到并发编程 协程和生成器的关系 你可以合理的编写一些组件来连接协程和生成器 你可以自己做一个数据流，工作流的方式来处理这种场景下的数据 你可以自己编写一个事件驱动系统 一个常见的主题 将数据交由协程处理 将数据交由线程处理(通过queue) 将数据交由进程处理(通过消息) 线程和协程共同……
[python]yield使用的最佳实践[2] - 数据管道的处理
回顾 上一篇我们就简单的介绍了yield的两种场景 yield生产数据 (生成器) yield消费数据 (协程) Coroutines,Pipelines 以及Dataflow 数据流处理的pipeline [串行方式] 我们使用coroutine 可以将数据以pipeline的方式进行处理 send() -> coroutine -> send() -> coroutine -> send() -> coroutine 我们将整个的corouti……