[python IDE] 舒服的pycharm设置
个人使用的IDE有国产的ulipad,sublime text 3 ,或者vs集成下的，不过讲到好用跨平台，还真是只有pycharm 写python最舒服，一个是因为有社区版，免费，不存在版权问题，另外跨平台，ubuntu ,windows,mac 都用的很舒服，然后配置一些常用设置，就能达到很好的效果，OK我将我自己……
分类 linux 中的文章
[python基础]关于中文编码和解码那点事儿
我们在用python处理中文的时候，或多或少会遇到这样一些错误 常见错误1: SyntaxError: Non-ASCII character '\xe4' in file C 常见错误2: UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128) 毫无疑问，我们在用python2.7.x的时候都会遇到这种问题，我们常规的解法又是怎么样的呢 # coding:utf-8 import requests def print_text(): url = 'http://www.cnblogs.com/' print requests.get(url).text.encode('utf-8') print_text() 首先在文件py文件的头部加上标识cod……
[python基础]关于装饰器
在面试的时候，被问到装饰器，在用的最多的时候就@classmethod ,@staticmethod,开口胡乱回答想这和C#的static public 关键字是不是一样的，等面试回来一看，哇，原来是这样，真佩服我当时厚着脸皮回答的那些问题… OK,先来张图看看装饰器内容： OK，我们……
从.net转型，聊聊最近一些面试,薪资和想法
上一个星期，一篇名为《.net估计要写在你手里了》几乎点燃了整个园子，有人群情激愤了，有人点赞的，有人上去打算喷博主个体无完肤的，总之，这篇博客很成功的引起一些.net 从业者的思考，也包括我。 写那篇博客的人是一名从业6年的.net coder，之所以定义为coder，我在回顾了博主……
(9)分布式下的爬虫Scrapy应该如何做-关于ajax抓取的处理(1)
转载请注明出处：http://www.cnblogs.com/codefish/p/4993809.html 最近在群里频繁的被问到ajax和js的处理问题，我们都知道，现在很多的页面都是用动态加载的技术，这一方面带来了良好的页面体验，另一方面，在抓取时或者或少的带来了相当大的麻烦……
数学之美--关于图论引申出来的爬虫构想
转载请注明出处：http://www.cnblogs.com/codefish/p/4971664.html在了解爬虫之前，我一直认为是简单的对单一网站的采集，无非就是对于一个域名内定点的数据抓取而已，2012年买了《数学之美》后，就一直没有正儿八经的看，或者当时看了之后，由于自……
(8)分布式下的爬虫Scrapy应该如何做-图片下载(源码放送)
转载主注明出处：http://www.cnblogs.com/codefish/p/4968260.html 在爬虫中，我们遇到比较多需求就是文件下载以及图片下载，在其它的语言或者框架中，我们可能在经过数据筛选，然后异步的使用文件下载类来达到目的，Scrapy框架中本身已经实现了文……
【转】Bloom Filter布隆过滤器的概念和原理
转自：http://blog.csdn.net/jiaomeng/article/details/1495500 之前看数学之美丽，里面有提到布隆过滤器的过滤垃圾邮件，感觉到何其的牛，竟然有这么高效的算法，一直在听这个名词，但一直没有正儿八经的去了解，今天看到了一篇关于Bloom Filter……
【转】Python中的GIL、多进程和多线程
<ul> <li> [1. GIL(Global Interpretor Lock,全局解释器锁)](http://lesliezhu.github.io/public/2015-04-20-python-multi-process-thread.html#sec-1) </li> <li> [2. threading](http://lesliezhu.github.io/public/2015-04-20-python-multi-process-thread.html#sec-2) <ul> <li> [2.1. 创建线程](http://lesliezhu.github.……
(7)分布式下的爬虫Scrapy应该如何做-关于伪装和防Ban的那点事儿
背景 写好的爬虫放在网上爬，被ban其实是一件很郁闷的事情，现在各个网站都会有相应的防爬的措施，一般来说模拟请求头一般都够了，不过仅仅是模拟请求头够么，答案当然是否定的，我们至少需要手动的打开一个网站，用fiddler 或者Chrome 的 F12 来具体看看我们一次真实的请求都做了哪些操作。……