大鱼的鱼塘

大数据的流行一定程序导致的爬虫的流行，有些企业和公司本身不生产数据，那就只能从网上爬取数据，笔者关注相关的内容有一定的时间，也写过很多关于爬虫的系列，现在收集好的框架希望能为对爬虫有兴趣的人，或者想更进一步的研究的人提供…

源起 之前有一个群友在群里问个如何快速搭建一个搜索引擎，在搜索之后我看到了这个 代码所在 Git:https://github.com/asciimoo/searx 官方很贴心，很方便的是已经提供了docker 镜像，基…

  我们先了解一下分布式，以下的内容在很早之前分享在一个爬虫群里面，现在拿出来重新回顾一下。 大家面试或者聊天的时候，装逼都会问，分布式，你会吗？那什么是分布式，为什么要分布式，怎么样实现分布式，我们先从逻辑上…

当慢慢了解做一些重复性的工作时候，我们都会思考，有没有什么办法简化工作，人因为懒洗衣服，所以有洗衣机，因为懒打扫，所以洗尘器，洗碗机，程序员们的懒，更多的是简化工作和抽象上，比如某个动作能不能封装成函数，进而封装成类，或…

python代码建议

4.在代码中添加适当的注释。 5。通过适当加添加空行使代码布局更为优雅，合理。 在一组代码表达完一个完整的思路之后，应该使用空白行进行间隔 尽量保持上下文语义的易理解性 避免过长的代码 不要为了保持水平对齐而使用多余的空…

1，理解pythonic（python化）的概念   美胜丑，显胜隐，简胜杂，杂胜乱，平胜陡，疏胜密(以最小，最明显的逻辑单元来写方法)   找到简单问题的一个方法，最好是唯一的方法(正确的解决之道)   难以解释的实现…

ubuntu下的linux开启稍微有点麻烦，查了一些资料才搞定，总结一下当作以后的速查表。 1.首先，机器要开启了3306端口 [crayon-5e2d22a57e8fb338784385/] 如果前缀是127.0.0.…

背景 最近在维护mongo集群与spider集群之中，经常来回ssh 登录，非常的不方便，以下的操作可以省去大部分的工作精力 简短命令 我们可以切换到本地的ssh config 目录来重命名，这样就可以不用输入ip了 […

在Ubuntu下配置舒服的Python开发环境 Ubuntu 提供了一个良好的 Python 开发环境，但如果想使我们的开发效率最大化，还需要进行很多定制化的安装和配置。下面的是我们团队开发人员推荐的一个安装和配置步骤，…