2016年5月22日
教程导航 (1)分布式下的爬虫Scrapy应该如何做-安装 (2)分布式下的爬虫Scrapy应该如何做-关于对Scrapy的反思和核心对象的介绍 (3)分布式下的爬虫Scrapy应该如何做-递归爬取方式,数据输出方式以及数据库链接 (4)分布式下的爬虫Scrapy应该如何做-规则自动爬取……
阅读全文
2024年9月6日
安装 按照官方指引,可以全局安装,也可以在具体的pyhon解释器用pip安装(换句话说可以和全局解释器共存,比如类似miniconda的版本管理器) https://github.com/astral-sh/uv Rust出品,属实精品! 使用 初看 (base) [root@VM-113-76-centos /data/projects/personal]# uv -h An extremely fast Python package manager. Usage: uv [OPTIONS] <COMMAND> Commands: run Run a command or script init Create a new project add Add dependencies to the project remove Remove dependencies from the project sync Update the project's environment lock Update the project's lockfile export……
阅读全文
2023年8月13日
开始 2023.8.13, 博客终于还是要迁移至腾讯云了,三个原因: wordpress常年疏于打理,写作习惯自从迁移至markdown后难以切回去 阿里云到期了,续期的性价比真的不高,还不如轻量云服务 hugo相对于wp, 速度更快,更轻量, 也是go写的,方便自己二次开发 准备 wordpress导出插件 - https://github.com/SchumacherFM/wordpress-to-hugo-exporter 相……
阅读全文
2022年1月19日
这是个人的c++ vscode代码定义,存在这里备份一下 根文件下新增.clang-format文件 贴上以下内容 # 基本的语言规范 BasedOnStyle: LLVM # 访问说明符(public、private等)的偏移 AccessModifierOffset: -4 # 开括号(开圆括号、开尖括号、开方括号)后的对齐: Align, DontAlign, AlwaysBreak(总是在开括号后换行……
阅读全文
2021年10月12日
目录 背景 现状 挑战 设计 实测 不足 总结 背景 旧系统随着节点数量增多,平均TPS处理能力越来越低下, 延迟越来越高,在业务不断扩张的同时,旧系统越来越难以满足需求 现状 低可用 旧系统在设计之初主要是满足于100台以内集群规模,随着业务增长,目前集群规模已经上升到1000多台,量级增长了10多倍,……
阅读全文
2021年5月10日
背景 在新创建python环境之后,总是免不了要去找selenium-driver 二进制文件,然后安装相应的python selenium包,实在是太麻烦了,下面介绍一种省时省力的方法 pip install webdriver-manager 使用以上命令安装咱们的主角: webdriver-manager 使用方式 使用Chrome: from selenium import webdriver from webdriver_manager.chrome import ChromeDriverManager driver = webdriver.Chrome(ChromeDriverManager().install()) 使用Chromi……
阅读全文
2020年7月15日
Clock 基于go cron的可视化调度轻量级调度框架,支持DAG任务依赖,支持bash命令,前端及后端编译完成(基于packr2)后仅有一个二进制文件,轻松部署 地址 https://github.com/BruceDone/clock 环境 后端 go 1.13+ packr - 静态文件打包 cron - 定时调度器 echo gorm 前端 vue iview-admin 使用 直接使用 下载git上的release列表,根据系统下载相应的二进……
阅读全文
2019年12月18日
入手golang,对比python聊聊想法 背景 学习 感悟 背景 入职几个月以来,花了一点时间入门go ,平时上下班路上读读<Go语言编程>或者<Go语言实践>,写了大量的书本代码,然后上手写了两个项目:一个后端高IO的api,另外一个是 web 调度系统,等到第一个系统写……
阅读全文
2019年8月17日
背景 在接触一些新的技术时,某些名词总会频繁出现,之前一直没花时间来去专注了解这些东西,本质上是自己太过于懒惰,所以花了一点时间,找寻了关于这方面的资料,这一期先总结这些内容,然后再进一步的去讲解python下的GIL 解析 直接上经典的图 blocking IO Non-blocking IO IO multiplexing signal-driven IO async IO 总结 应用 read write connect……
阅读全文
2019年7月18日
目录 背景 简介 测试 结论 背景 一直以来,python的web框架给别人的感觉就是: 一个能打的都没有。社区也在不断的努力,特别在 asyncio 爆发之后,出现了一些新的异步框架,比如sanic,比如vibora,相比传统的flask, django,这些新的框架相对成熟了很多,而且在性能上已经有长足的进……
阅读全文