[置顶]scrapy爬虫教程导航

教程导航 (1)分布式下的爬虫Scrapy应该如何做-安装 (2)分布式下的爬虫Scrapy应该如何做-关于对Scrapy的反思和核心对象的介绍 (3)分布式下的爬虫Scrapy应该如何做-递归爬取方式,数据输出方式以及数据库链接 (4)分布式下的爬虫Scrapy应该如何做-规则自动爬取……

阅读全文

博客的重生与未来

开始 2023.8.13, 博客终于还是要迁移至腾讯云了,三个原因: wordpress常年疏于打理,写作习惯自从迁移至markdown后难以切回去 阿里云到期了,续期的性价比真的不高,还不如轻量云服务 hugo相对于wp, 速度更快,更轻量, 也是go写的,方便自己二次开发 准备 wordpress导出插件 - https://github.com/SchumacherFM/wordpress-to-hugo-exporter 相……

阅读全文

[c++] vscode c++ clang格式化定义

这是个人的c++ vscode代码定义,存在这里备份一下 根文件下新增.clang-format文件 贴上以下内容 # 基本的语言规范 BasedOnStyle: LLVM # 访问说明符(public、private等)的偏移 AccessModifierOffset: -4 # 开括号(开圆括号、开尖括号、开方括号)后的对齐: Align, DontAlign, AlwaysBreak(总是在开括号后换行……

阅读全文

从0到1设计一套高性能隧道代理系统

目录 背景 现状 挑战 设计 实测 不足 总结 背景 旧系统随着节点数量增多,平均TPS处理能力越来越低下, 延迟越来越高,在业务不断扩张的同时,旧系统越来越难以满足需求 现状 低可用 旧系统在设计之初主要是满足于100台以内集群规模,随着业务增长,目前集群规模已经上升到1000多台,量级增长了10多倍,……

阅读全文

[python好库推荐] selenium-driver 自动安装

背景 在新创建python环境之后,总是免不了要去找selenium-driver 二进制文件,然后安装相应的python selenium包,实在是太麻烦了,下面介绍一种省时省力的方法 pip install webdriver-manager 使用以上命令安装咱们的主角: webdriver-manager 使用方式 使用Chrome: from selenium import webdriver from webdriver_manager.chrome import ChromeDriverManager driver = webdriver.Chrome(ChromeDriverManager().install()) 使用Chromi……

阅读全文

[Clock]没错!就是让你点点点完成可视化任务调度!

Clock 基于go cron的可视化调度轻量级调度框架,支持DAG任务依赖,支持bash命令,前端及后端编译完成(基于packr2)后仅有一个二进制文件,轻松部署 地址 https://github.com/BruceDone/clock 环境 后端 go 1.13+ packr - 静态文件打包 cron - 定时调度器 echo gorm 前端 vue iview-admin 使用 直接使用 下载git上的release列表,根据系统下载相应的二进……

阅读全文

[经验]入手golang,对比python聊聊想法

入手golang,对比python聊聊想法 背景 学习 感悟 背景 入职几个月以来,花了一点时间入门go ,平时上下班路上读读<Go语言编程>或者<Go语言实践>,写了大量的书本代码,然后上手写了两个项目:一个后端高IO的api,另外一个是 web 调度系统,等到第一个系统写……

阅读全文

[回炉]阻塞与非阻塞,同步与异步

背景 在接触一些新的技术时,某些名词总会频繁出现,之前一直没花时间来去专注了解这些东西,本质上是自己太过于懒惰,所以花了一点时间,找寻了关于这方面的资料,这一期先总结这些内容,然后再进一步的去讲解python下的GIL 解析 直接上经典的图 blocking IO Non-blocking IO IO multiplexing signal-driven IO async IO 总结 应用 read write connect……

阅读全文

[后端] python下的web framework大比拼

目录 背景 简介 测试 结论 背景 一直以来,python的web框架给别人的感觉就是: 一个能打的都没有。社区也在不断的努力,特别在 asyncio 爆发之后,出现了一些新的异步框架,比如sanic,比如vibora,相比传统的flask, django,这些新的框架相对成熟了很多,而且在性能上已经有长足的进……

阅读全文

[读书]代码整洁之道

混乱的代价 稍后等于永不 勒布朗法则 简单代码规则 能通过所有的测试 没有重复的代码 体现系统中的全部设计理念 包括尽量少的实体,比如类,方法,函数等 更改的原则 更改一个变量名 拆分一个过长的函数 消除重复的代码 清理嵌套的if语句 函数 函数要么做事情,要么回答什么事 要么do什么操作 要么返回值 这种指定需……

阅读全文

最近文章

分类

标签

友情链接

其它