目录 源起 分析 实践 总结 源起 周末答应了一个朋友帮他看一下一个网站应该怎么爬，费话不说直接先上网站 https://datacenter.jin10.com/price 数据一直在不停的闪，直觉判断这种高频的显示应…
[工程] pytorch gpu docker 镜像下的无法正常启动应用分析
目录 发现 分析 解决 总结 发现 在使用了 nvidia/cuda:9.0-cudnn7-devel-ubuntu16.04 作为底层镜像后，重新构建了pytorch的底层镜像做为应用的基础镜像，一切都构建的很顺利，就…
[经验] opencv 不同的视频输出以及文件过大的解决方法
目录 发现 分析 解决 总结 发现 目前的一个项目需要使用opencv 录制视频，并且将录制的视频上传到我方服务器上，所以，视频的大小直接影响视频分析的时时性，针对这个情况，需要在不同的压缩格式下进行测试，在测试的时候发…
[经验]解决使用opencv 高分辨率下的摄像头卡顿不流畅
目录 发现 分析 解决 总结 发现 环境 ubuntu 16.04 python 2.7 (anaconda 的环境) cv 版本 3.4 安装方式 pip install opencv-contrib-python 问…
[经验] python下的消息队列选择-rq
目录 项目代码所在: https://github.com/BruceDone/web_message_queue_app 背景 准备 实践 总结 背景 某个web api项目需要将api的每次调用情况都记录下来，统一收…
[定义] 关于网络状态码的工程标准
内容 我相信大多数写http api的时候，关于网络的状态码大家都有各自的定义，现在有一个好的库来定义各种各样的情况，方便大家在写api的时候返回合理的状态码 代码 [crayon-614b8e515644f029169…
[工程] tmux的一些操作技巧
tmux简介 tmux是一个优秀的终端复用软件，类似GNU Screen，但来自于OpenBSD，采用BSD授权。使用它最直观的好处就是，通过一个终端登录远程主机并运行tmux后，在其中可以开启多个控制台而无需再“浪费”…
[scrapy] images pipeline分析– 下载图片如何上传到阿里云服务
目录 源起 准备 分析 实践 总结 源起 现在网上已经有很多方便的云存储了，比如阿里云的oss，亚马逊的s3 ，Azure 的blob，云的储存对于大数据量的文件或者图片来说，绝对是相当的方便，现在我们就来分析一下，如何…
[爬虫]python下的xpath清洗数据之html数据清洗
目录 源起 分析 解决 总结 源起 现在我们面对一些爬虫数据，特别是对于web网页的爬取的时候，网页总有一些不规整的数据来导致拿数据的麻烦，比如如下这种 [crayon-614b8e5156eb9622694275/] …
[系统] 阻塞非阻塞，同步与异步
目录 前言 示意 分析 总结 前言 我们在写代码的时候，会遇到大量的IO操作，http请求，读写文件，读数据库，对于IO的操作，我们听到了太多的异步，同步，阻塞与非阻塞的操作，可是我们一直没有去深入的理解他的意义到底在哪…