源起 之前有一个群友在群里问个如何快速搭建一个搜索引擎，在搜索之后我看到了这个 代码所在 Git:https://github.com/asciimoo/searx 官方很贴心，很方便的是已经提供了docker 镜像，基…
[Nancy On .Net Core] 轻量级的web框架
.net core现在已经有了大的发展，虽然笔者现在已经从事python开发，但是一直在关注.net的发展，在逛博客园的时候，发现有大家都会提到Nancy这个框架，在简单的使用之后，发现竟然是如此的简单而优雅 [cray…
(13)分布式下的爬虫Scrapy应该如何做-分布式架构
上一篇我们已经讲了是什么，为什么的问题，从我们一些简单的实例中分析了分布式的一些优势，以及一些现有的，基于scrapy的分布式的框架。接下来就是分享我工作中使用的框架基本思想 源码 我们先从scrapy的Spider源码…
(12)分布式下的爬虫Scrapy应该如何做-浅析分布式
我们先了解一下分布式，以下的内容在很早之前分享在一个爬虫群里面，现在拿出来重新回顾一下。 大家面试或者聊天的时候，装逼都会问，分布式，你会吗？那什么是分布式，为什么要分布式，怎么样实现分布式，我们先从逻辑上…
[置顶]scrapy爬虫教程导航
教程导航 (1)分布式下的爬虫Scrapy应该如何做-安装 (2)分布式下的爬虫Scrapy应该如何做-关于对Scrapy的反思和核心对象的介绍 (3)分布式下的爬虫Scrapy应该如何做-递归爬取方式，数据输出方式以及…
[调度]可视化的调度架构-Dagobah
Dagobah 简介 Dagobash 是用 python 编写的一个简单的基于依赖关系的作业调度器。 Dagobah 允许你使用 Cron 语法安排调度工作，你可以非常简单的通过 web 界面点击拖动来定义每个工作的一…
[python代码生成器]jinja2模板引擎下的代码生成器
当慢慢了解做一些重复性的工作时候，我们都会思考，有没有什么办法简化工作，人因为懒洗衣服，所以有洗衣机，因为懒打扫，所以洗尘器，洗碗机，程序员们的懒，更多的是简化工作和抽象上，比如某个动作能不能封装成函数，进而封装成类，或…
[读书]编写高质量的python程序的91个建议(3)
python代码建议
(11)分布式下的爬虫Scrapy应该如何做-关于ajax渲染环境splash的一些使用技巧总结
老规矩，先把相关的git地址上齐 scrapyjs：===>scrapyjs<==== splash: ===>splash<==== 文档地址：===>doc for splash<…
[读书]编写高质量的python程序的91个建议(2)
4.在代码中添加适当的注释。 5。通过适当加添加空行使代码布局更为优雅，合理。 在一组代码表达完一个完整的思路之后，应该使用空白行进行间隔 尽量保持上下文语义的易理解性 避免过长的代码 不要为了保持水平对齐而使用多余的空…