教程导航 (1)分布式下的爬虫Scrapy应该如何做-安装 (2)分布式下的爬虫Scrapy应该如何做-关于对Scrapy的反思和核心对象的介绍 (3)分布式下的爬虫Scrapy应该如何做-递归爬取方式，数据输出方式以及…
[回炉]阻塞与非阻塞,同步与异步
背景 我们在很多新的东西的时候，像这些名词总是会非常高机率的出现，可是我之前一直没有花更多的时间来去了解这些东西，本质上是自己太过于懒惰，所以花了一点时间，找寻了关于这方面的资料，这一期先总结这些内容，然后再进一步的去讲…
[后端] python下的web framework大比拼
目录 背景 简介 测试 结论 背景 一直以来，python的web框架给别人的感觉就是: 一个能打的都没有。社区也在不断的努力,特别在 asyncio 爆发之后，出现了一些新的异步框架，比如sanic,比如vibora,…
[读书]代码整洁之道
混乱的代价 稍后等于永不 – 勒布朗法则 简单代码规则 能通过所有的测试 没有重复的代码 体现系统中的全部设计理念 包括尽量少的实体，比如类，方法，函数等 更改的原则 更改一个变量名 拆分一个过长的函数 消除…
Mac下对Chrome插件请求的监听
目录 背景 分析 环境 实践 总结 最近一段时间忙于搬家和适应新的环境，接下来可以正常分享一些工作中用到的东西和学习技巧相关 背景 接手一个需求，想要调研一下某个chrome 的插件为什么能拿到数据 当打开这个链接的时候…
2018-自由与死亡
写这么大的一个标题一开始认为自己可能会Hold不住，小人物有小人物的悲欢离合，大人物有大人物的大事大非，我从一个主观的小角度来谈2018年经历的事事非非，心态的起伏 自由 思想前行 整个2018年知识付费了三个专辑 卓老…
[工程] gunicorn下的深度学习api 如何合理分配gpu
背景 老大提了一个需求: gunicron 起多个进程的时候，如何保证pytorch的模型均匀分配到不同的gpu上，按道理，如果能拿到类似每个进程的序号，那分配起来应该都是简单的，那核心问题提炼出来了，如何拿到进程的序号…
[深度学习] 使用Darknet YOLO 模型破解中文验证码点击识别
内容 背景 准备 实践 结果 总结 引用 背景 老规矩，先上代码吧 代码所在: https://github.com/BruceDone/darknet_demo 最近在做深度学习相关的项目的时候，了解在现有的深度学习检…
[技巧] chrome headless 爬虫抓取websoket 数据
目录 源起 分析 实践 总结 源起 周末答应了一个朋友帮他看一下一个网站应该怎么爬，费话不说直接先上网站 https://datacenter.jin10.com/price 数据一直在不停的闪，直觉判断这种高频的显示应…
[工程] pytorch gpu docker 镜像下的无法正常启动应用分析
目录 发现 分析 解决 总结 发现 在使用了 nvidia/cuda:9.0-cudnn7-devel-ubuntu16.04 作为底层镜像后，重新构建了pytorch的底层镜像做为应用的基础镜像，一切都构建的很顺利，就…
[经验] opencv 不同的视频输出以及文件过大的解决方法
目录 发现 分析 解决 总结 发现 目前的一个项目需要使用opencv 录制视频，并且将录制的视频上传到我方服务器上，所以，视频的大小直接影响视频分析的时时性，针对这个情况，需要在不同的压缩格式下进行测试，在测试的时候发…