包含标签 python 中的文章

[爬虫]python下的xpath清洗数据之html数据清洗

目录 源起 分析 解决 总结 源起 现在我们面对一些爬虫数据,特别是对于web网页的爬取的时候,网页总有一些不规整的数据来导致拿数据的麻烦,比如如下这种 <html> <p>111</p> <p>222</p> <p>333</p> <p>444 <script> eeeeeeeeeeee </script> </p> <p>555 <script> aabbccddd </script> </p> </html> 我只想拿到111,222,333,444,555这些有效的信息,因为有些p标签里面会引入script元素,导致……

阅读全文

[工程] python下的测试利器pytest

目录 引言 准备 项目 总结 引言 我想现在应该很少有公司一直在主推TDD了,因为这无形之中增加了工作量,在追求极致开发的时候,一般都是能先上就先上,把主体的功能不管三七二十一怼出来再说,出了问题就直接改,也不管你的代码和之前兼容不兼容,一个大的工程,测试是绝对少不了的,覆盖率更是必须达到一……

阅读全文

[经验]如何优雅的在docker下断点调试debug

纲领 前言 使用 过程 配置 总结 前言 随着docker的普及,现在更多的生产线上的程序都是打包成docker 应用,这样方便环境的隔离,也能提高资源的利用率,不过一旦出了问题,怎么debug就成了一个难题,我可暂时没有学会大神们的pdb debug大法,只会用pycharm 打断点调试,那如何处……

阅读全文

python对象下的可变类型与不可变类型

前言 python对象对于修改这个行为,大家的操作方式都是不一样的。有些对象是可变类型,所以他就可以直接修改。其它的都是不可变类型,那我们要修改他时怎么办呢,这个时候就新生成的一个对象,然后将变量名指向这个新对象,修改动作就完成了。关于可变类型与不可变类型的一个特点,我们可以先看看……

阅读全文

[转载]Python垃圾回收机制

转载自:http://www.jianshu.com/p/1e375fb40506 ,感谢作者 先来个概述,第二部分的画述才是厉害的。 Garbage collection(GC) 现在的高级语言如java,c#等,都采用了垃圾收集机制,而不再是c,c++里用户自己管理维护内存的方式。自己管理内存极其自由,可以任意申请内存,但……

阅读全文

[心得]如何学一门编程语言

背景 第一次学语言?怎么入手? 去哪找资源? 要不要买书?还是要不要报培训班? 要不要准备一台高性能的装备? 如果你存在以上的问题话,建议你先沉下心来,把文章看完,然后我会一条一条的分析里面的原因,给出自己的一点见解 入门 很多人都会问,我想入门语言,最快的方式是什么?你一想着快的时候,基本上……

阅读全文

[python]yield使用的最佳实践[3]

从数据处理到并发编程 协程和生成器的关系 你可以合理的编写一些组件来连接协程和生成器 你可以自己做一个数据流,工作流的方式来处理这种场景下的数据 你可以自己编写一个事件驱动系统 一个常见的主题 将数据交由协程处理 将数据交由线程处理(通过queue) 将数据交由进程处理(通过消息) 线程和协程共同……

阅读全文

[python]yield使用的最佳实践[2] - 数据管道的处理

回顾 上一篇我们就简单的介绍了yield的两种场景 yield生产数据 (生成器) yield消费数据 (协程) Coroutines,Pipelines 以及Dataflow 数据流处理的pipeline [串行方式] 我们使用coroutine 可以将数据以pipeline的方式进行处理 send() -> coroutine -> send() -> coroutine -> send() -> coroutine 我们将整个的corouti……

阅读全文

[python]yield使用的最佳实践[1]

http://www.dabeaz.com/coroutines/Coroutines.pdf 准备 python: 2.7.12 os: mac os 结论 [使用场景] 迭代生成数据(生产者) 接收数据(消费者) 中断(协作式的任务) 任何脱离以上三个场景的使用yield,请使用其它方法处理,yield是很好用,但不至于到处都可以使用的地步 协程和生成器-Coroutines and Generators 在python2.5 开始 ,生成器就已经加入一……

阅读全文

最近文章

分类

标签

友情链接

其它