我们在用python处理中文的时候，或多或少会遇到这样一些错误 常见错误1: [crayon-59c14ef590a5b559970909/] 常见错误2: [crayon-59c14ef590a66850…
[python基础]关于装饰器
在面试的时候，被问到装饰器，在用的最多的时候就@classmethod ,@staticmethod,开口胡乱回答想这和C#的static public 关键字是不是一样的，等面试回来一看，哇，原来是这样，真佩服我当时厚…
从.net转型，聊聊最近一些面试,薪资和想法
上一个星期，一篇名为《.net估计要写在你手里了》几乎点燃了整个园子，有人群情激愤了，有人点赞的，有人上去打算喷博主个体无完肤的，总之，这篇博客很成功的引起一些.net 从业者的思考，也包括我。…
(9)分布式下的爬虫Scrapy应该如何做-关于ajax抓取的处理(1)
转载请注明出处：http://www.cnblogs.com/codefish/p/4993809.html 最近在群里频繁的被问到ajax和js的处理问题，我们都知道，现在很多的页面都是用动态加载的技术，…
数学之美--关于图论引申出来的爬虫构想
转载请注明出处：http://www.cnblogs.com/codefish/p/4971664.html 在了解爬虫之前，我一直认为是简单的对单一网站的采集，无非就是对于一个域名内定点的数据抓取而已，2012年买了…
(8)分布式下的爬虫Scrapy应该如何做-图片下载(源码放送)
转载主注明出处：http://www.cnblogs.com/codefish/p/4968260.html 在爬虫中，我们遇到比较多需求就是文件下载以及图片下载，在其它的语言或者框架中，我们可能在经过数据…
【转】Bloom Filter布隆过滤器的概念和原理
转自：http://blog.csdn.net/jiaomeng/article/details/1495500 之前看数学之美丽，里面有提到布隆过滤器的过滤垃圾邮件，感觉到何其的牛，竟然有这…
【转】Python中的GIL、多进程和多线程
转自：http://lesliezhu.github.io/public/2015-04-20-python-multi-process-thread.html 目录 1. GIL(Global Interpretor …
(7)分布式下的爬虫Scrapy应该如何做-关于伪装和防Ban的那点事儿
写好的爬虫放在网上爬，被ban其实是一件很郁闷的事情，现在各个网站都会有相应的防爬的措施，一般来说模拟请求头一般都够了，不过仅仅是模拟请求头够么，答案当然是否定的，我们至少需要手动的打开一个网站，用fiddler 或者C…
深入浅出数据分析(1)读书笔记
核心原则： 确定->分解->评估->决策 确定客户的需求是什么，当前的得知的信息与困境k