2018年7月19日
目录 项目代码所在: https://github.com/BruceDone/web_message_queue_app 背景 准备 实践 总结 背景 某个web api项目需要将api的每次调用情况都记录下来，统一收集之后存入数据库，然后每个小时进行汇总与统计。这样方便业务部门进行数据分析，逻辑流程如下 用户请求 -> web api(记录请求) -> 请求返回数据 并记录本次请求 -> 业务人员汇总数据 从上面的看出……
阅读全文
2018年7月13日
内容 我相信大多数写http api的时候，关于网络的状态码大家都有各自的定义，现在有一个好的库来定义各种各样的情况，方便大家在写api的时候返回合理的状态码 代码 # Informational Responses 100: message: "Continue" category: "Informational Responses" description: "This interim response indicates that everything so far is OK \ and that the client should continue with the request or ignore \ it if it is already finished." 101: message: "Switching Protocol" category: "Informational Responses" description: "This code is sent in response to an Upgrade request header by \ the……
阅读全文
2018年6月29日
tmux简介 tmux是一个优秀的终端复用软件，类似GNU Screen，但来自于OpenBSD，采用BSD授权。使用它最直观的好处就是，通过一个终端登录远程主机并运行tmux后，在其中可以开启多个控制台而无需再“浪费”多余的终端来连接这台远程主机；当然其功能远不止于此。 直接使用yu……
阅读全文
2018年5月28日
目录 源起 准备 分析 实践 总结 源起 现在网上已经有很多方便的云存储了，比如阿里云的oss，亚马逊的s3 ，Azure 的blob，云的储存对于大数据量的文件或者图片来说，绝对是相当的方便，现在我们就来分析一下，如何使用scrapy的pipeline ，将我们下载图片直接上传到我们的阿里云oss……
阅读全文
2018年5月14日
目录 源起 分析 解决 总结 源起 现在我们面对一些爬虫数据，特别是对于web网页的爬取的时候，网页总有一些不规整的数据来导致拿数据的麻烦，比如如下这种 <html> <p>111</p> <p>222</p> <p>333</p> <p>444 <script> eeeeeeeeeeee </script> </p> <p>555 <script> aabbccddd </script> </p> </html> 我只想拿到111,222,333,444,555这些有效的信息，因为有些p标签里面会引入script元素，导致……
阅读全文
2018年5月7日
目录 前言 示意 分析 总结 前言 我们在写代码的时候，会遇到大量的IO操作，http请求，读写文件，读数据库，对于IO的操作，我们听到了太多的异步，同步，阻塞与非阻塞的操作，可是我们一直没有去深入的理解他的意义到底在哪里，这次我们就具体的分析原理 示意 我们假设有这样一次IO操作，A发出请求，……
阅读全文
2018年5月4日
内容 源起 使用 注意 总结 源起 某天小伙伴看我正在辛勤的打开一个又一个窗口，然后跑一些长时间任务然后又要开另外一个窗口重新ssh到服务器上的繁琐操作，如下图所示 小伙伴顺口来了一句，你为啥不用tmux呢。你这样挂起任务要是你退出机器登录或者不小心点错了那你这个任务不就挂了？还有切换终端se……
阅读全文
2018年3月20日
目录 起因 分析 解决 起因 在tmux session 之中 ，尝试修改一个文件内容，发现于tmux 外部 查看该文件内容压根就没有修改到，只能从外部来进行处理 分析 在folder文件夹下有如下两个文件夹 test 以及test_1 ├── test │ └── test.txt └── test_1 └── test.txt 注意，两个文件夹下虽然都有相同的文件test.txt ，不……
阅读全文
2018年3月3日
目录 引言 准备 项目 总结 引言 我想现在应该很少有公司一直在主推TDD了，因为这无形之中增加了工作量，在追求极致开发的时候，一般都是能先上就先上，把主体的功能不管三七二十一怼出来再说，出了问题就直接改，也不管你的代码和之前兼容不兼容，一个大的工程，测试是绝对少不了的，覆盖率更是必须达到一……
阅读全文
2018年2月10日
引言 大概在3年前，我写过 <26之前,26之后>，从刚参加工作到工作2年之后一些蜕变与感悟，如果将之前的时间比作新手上路，体会到了道路的崎岖与速度的激情，我想这一年的更多的时间就是停车自检，自省身上发生的问题 目录 遇到困难，正面面对 子非鱼，安知鱼之乐 世间之事，无非多花时间……
阅读全文