[读书]编写高质量的python程序的91个建议(1)
1，理解pythonic（python化）的概念 美胜丑，显胜隐，简胜杂，杂胜乱，平胜陡，疏胜密(以最小，最明显的逻辑单元来写方法) 找到简单问题的一个方法，最好是唯一的方法(正确的解决之道) 难以解释的实现，源自不好的主意；如有非常 棒的主意，它的实现肯定易于解释(一个需求过来，先看自……
分类 所有 中的文章
ubuntu下mysql的远程访问开启
ubuntu下的linux开启稍微有点麻烦，查了一些资料才搞定，总结一下当作以后的速查表。 1.首先，机器要开启了3306端口 root@iZ94vs9ps2zZ:~# netstat -an | grep 3306 tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN 如果前缀是127.0.0.1:3306，那至少证明没有开启端口，那如何处理呢，接下来看第二步 2.修改mysql 配置文件 cd /etc/mysql 我们查看一……
Git的三道菜，提升你的git水平
最近发现了scrapyd官方的一个bug，在fix的过程中被维护者吐嘈git水平太低了，然后多次commit了一些无用的信息，导致git的树相对混乱，这对于我这个只使用git commit push add的人提了一个醒，平常都只是将git当作一个存代码的地方，从来没有正儿八经的去看这个问题(这个问题……
(10)分布式下的爬虫Scrapy应该如何做-关于动态内容js或者ajax处理(2)
不知不觉这个系列就已经写到了第十篇，如果你跟着前面教程一步一步来，我想你对于scrapy的熟练的程度已经超过了很多人了，这个时候你可能会思考，如果我自己去写这样一个爬虫框架，我会怎么来写，如果是我，我对于队列，数据库的解析又应该怎么来处理呢。如果你能深入到这样的一个地步，我想你一……
ssh免登陆实现
背景 最近在维护mongo集群与spider集群之中，经常来回ssh 登录，非常的不方便，以下的操作可以省去大部分的工作精力 简短命令 我们可以切换到本地的ssh config 目录来重命名，这样就可以不用输入ip了 cd ~/.ssh/ vim config 结果展示 Host mongo001 HostName 192.168.8.4 Host mongo002 HostName 192.168.8.5 Host mongo003 HostName 192.168.8.6 免登录 1.在A机下生成公钥/私钥对 [hadoop@wang-PC ~]$ ssh-keygen -t rsa -P……
基于scrapy可见可得的爬虫工具arachnado
效果预览和项目所在 先上Git地址：https://github.com/TeamHG-Memex/arachnado 这个库在去年8月就已经上线了，作者写的东西和整体的UI界面满不错的， 这是从youtube下载下来后上传到youku的演示效果 整体的效果确实真的很不错，基于torna……
[python基础]关于中文编码和解码那点事儿
我们在用python处理中文的时候，或多或少会遇到这样一些错误 常见错误1: SyntaxError: Non-ASCII character '\xe4' in file C 常见错误2: UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128) 毫无疑问，我们在用python2.7.x的时候都会遇到这种问题，我们常规的解法又是怎么样的呢 # coding:utf-8 import requests def print_text(): url = 'http://www.cnblogs.com/' print requests.get(url).text.encode('utf-8') print_text() 首先在文件py文件的头部加上标识cod……
[python基础]关于装饰器
在面试的时候，被问到装饰器，在用的最多的时候就@classmethod ,@staticmethod,开口胡乱回答想这和C#的static public 关键字是不是一样的，等面试回来一看，哇，原来是这样，真佩服我当时厚着脸皮回答的那些问题… OK,先来张图看看装饰器内容： OK，我们……
从.net转型，聊聊最近一些面试,薪资和想法
上一个星期，一篇名为《.net估计要写在你手里了》几乎点燃了整个园子，有人群情激愤了，有人点赞的，有人上去打算喷博主个体无完肤的，总之，这篇博客很成功的引起一些.net 从业者的思考，也包括我。 写那篇博客的人是一名从业6年的.net coder，之所以定义为coder，我在回顾了博主……
(9)分布式下的爬虫Scrapy应该如何做-关于ajax抓取的处理(1)
转载请注明出处：http://www.cnblogs.com/codefish/p/4993809.html 最近在群里频繁的被问到ajax和js的处理问题，我们都知道，现在很多的页面都是用动态加载的技术，这一方面带来了良好的页面体验，另一方面，在抓取时或者或少的带来了相当大的麻烦……