[定义] 关于网络状态码的工程标准

内容 我相信大多数写http api的时候,关于网络的状态码大家都有各自的定义,现在有一个好的库来定义各种各样的情况,方便大家在写api的时候返回合理的状态码 代码 # Informational Responses 100: message: "Continue" category: "Informational Responses" description: "This interim response indicates that everything so far is OK \ and that the client should continue with the request or ignore \ it if it is already finished." 101: message: "Switching Protocol" category: "Informational Responses" description: "This code is sent in response to an Upgrade request header by \ the……

阅读全文

[工程] tmux的一些操作技巧

tmux简介 tmux是一个优秀的终端复用软件,类似GNU Screen,但来自于OpenBSD,采用BSD授权。使用它最直观的好处就是,通过一个终端登录远程主机并运行tmux后,在其中可以开启多个控制台而无需再“浪费”多余的终端来连接这台远程主机;当然其功能远不止于此。 直接使用yu……

阅读全文

[scrapy] images pipeline分析– 下载图片如何上传到阿里云服务

目录 源起 准备 分析 实践 总结 源起 现在网上已经有很多方便的云存储了,比如阿里云的oss,亚马逊的s3 ,Azure 的blob,云的储存对于大数据量的文件或者图片来说,绝对是相当的方便,现在我们就来分析一下,如何使用scrapy的pipeline ,将我们下载图片直接上传到我们的阿里云oss……

阅读全文

[爬虫]python下的xpath清洗数据之html数据清洗

目录 源起 分析 解决 总结 源起 现在我们面对一些爬虫数据,特别是对于web网页的爬取的时候,网页总有一些不规整的数据来导致拿数据的麻烦,比如如下这种 <html> <p>111</p> <p>222</p> <p>333</p> <p>444 <script> eeeeeeeeeeee </script> </p> <p>555 <script> aabbccddd </script> </p> </html> 我只想拿到111,222,333,444,555这些有效的信息,因为有些p标签里面会引入script元素,导致……

阅读全文

[系统] 阻塞非阻塞,同步与异步

目录 前言 示意 分析 总结 前言 我们在写代码的时候,会遇到大量的IO操作,http请求,读写文件,读数据库,对于IO的操作,我们听到了太多的异步,同步,阻塞与非阻塞的操作,可是我们一直没有去深入的理解他的意义到底在哪里,这次我们就具体的分析原理 示意 我们假设有这样一次IO操作,A发出请求,……

阅读全文

[工程] linux操作下的利器-tmux

内容 源起 使用 注意 总结 源起 某天小伙伴看我正在辛勤的打开一个又一个窗口,然后跑一些长时间任务然后又要开另外一个窗口重新ssh到服务器上的繁琐操作,如下图所示 小伙伴顺口来了一句,你为啥不用tmux呢。你这样挂起任务要是你退出机器登录或者不小心点错了那你这个任务不就挂了?还有切换终端se……

阅读全文

[tmux] version 2.1 存在缓存bug

目录 起因 分析 解决 起因 在tmux session 之中 ,尝试修改一个文件内容,发现于tmux 外部 查看该文件内容压根就没有修改到,只能从外部来进行处理 分析 在folder文件夹下有如下两个文件夹 test 以及test_1 ├── test │ └── test.txt └── test_1 └── test.txt 注意,两个文件夹下虽然都有相同的文件test.txt ,不……

阅读全文

[工程] python下的测试利器pytest

目录 引言 准备 项目 总结 引言 我想现在应该很少有公司一直在主推TDD了,因为这无形之中增加了工作量,在追求极致开发的时候,一般都是能先上就先上,把主体的功能不管三七二十一怼出来再说,出了问题就直接改,也不管你的代码和之前兼容不兼容,一个大的工程,测试是绝对少不了的,覆盖率更是必须达到一……

阅读全文

29之前,29之后

引言 大概在3年前,我写过 <26之前,26之后>,从刚参加工作到工作2年之后一些蜕变与感悟,如果将之前的时间比作新手上路,体会到了道路的崎岖与速度的激情,我想这一年的更多的时间就是停车自检,自省身上发生的问题 目录 遇到困难,正面面对 子非鱼,安知鱼之乐 世间之事,无非多花时间……

阅读全文

[可视化抓取]portia2.0尝鲜体验以及自动化畅想-数据存储入mongodb

总览 环境 分析 猜想 实施 总结 环境 mac or ubuntu 16.04 docker 分析 上一章节,==> [可视化抓取]portia2.0尝鲜体验以及自动化畅想-数据输出以及原理分析 <== 我们已经分析了portia 数据 输出的方式,以及从代码的层面来分析它实际的运作原理,群里有小伙伴以及微信私信问我:大鱼,这个怎么和我们的数据……

阅读全文

最近文章

分类

标签

友情链接

其它