[置顶]scrapy爬虫教程导航
教程导航 (1)分布式下的爬虫Scrapy应该如何做-安装 (2)分布式下的爬虫Scrapy应该如何做-关于对Scrapy的反思和核心对象的介绍 (3)分布式下的爬虫Scrapy应该如何做-递归爬取方式，数据输出方式以及数据库链接 (4)分布式下的爬虫Scrapy应该如何做-规则自动爬取……
新python环境和项目管理工具-rust uv
安装 按照官方指引，可以全局安装，也可以在具体的pyhon解释器用pip安装(换句话说可以和全局解释器共存，比如类似miniconda的版本管理器) https://github.com/astral-sh/uv Rust出品，属实精品！ 使用 初看 (base) [root@VM-113-76-centos /data/projects/personal]# uv -h An extremely fast Python package manager. Usage: uv [OPTIONS] <COMMAND> Commands: run Run a command or script init Create a new project add Add dependencies to the project remove Remove dependencies from the project sync Update the project's environment lock Update the project's lockfile export……
博客的重生与未来
开始 2023.8.13, 博客终于还是要迁移至腾讯云了，三个原因： wordpress常年疏于打理，写作习惯自从迁移至markdown后难以切回去 阿里云到期了，续期的性价比真的不高，还不如轻量云服务 hugo相对于wp, 速度更快，更轻量, 也是go写的，方便自己二次开发 准备 wordpress导出插件 - https://github.com/SchumacherFM/wordpress-to-hugo-exporter 相……
[c++] vscode c++ clang格式化定义
这是个人的c++ vscode代码定义，存在这里备份一下 根文件下新增.clang-format文件 贴上以下内容 # 基本的语言规范 BasedOnStyle: LLVM # 访问说明符(public、private等)的偏移 AccessModifierOffset: -4 # 开括号(开圆括号、开尖括号、开方括号)后的对齐: Align, DontAlign, AlwaysBreak(总是在开括号后换行……
从0到1设计一套高性能隧道代理系统
目录 背景 现状 挑战 设计 实测 不足 总结 背景 旧系统随着节点数量增多，平均TPS处理能力越来越低下, 延迟越来越高，在业务不断扩张的同时，旧系统越来越难以满足需求 现状 低可用 旧系统在设计之初主要是满足于100台以内集群规模，随着业务增长，目前集群规模已经上升到1000多台，量级增长了10多倍，……
[python好库推荐] selenium-driver 自动安装
背景 在新创建python环境之后，总是免不了要去找selenium-driver 二进制文件，然后安装相应的python selenium包，实在是太麻烦了，下面介绍一种省时省力的方法 pip install webdriver-manager 使用以上命令安装咱们的主角: webdriver-manager 使用方式 使用Chrome: from selenium import webdriver from webdriver_manager.chrome import ChromeDriverManager driver = webdriver.Chrome(ChromeDriverManager().install()) 使用Chromi……
[Clock]没错!就是让你点点点完成可视化任务调度!
Clock 基于go cron的可视化调度轻量级调度框架，支持DAG任务依赖，支持bash命令，前端及后端编译完成(基于packr2)后仅有一个二进制文件，轻松部署 地址 https://github.com/BruceDone/clock 环境 后端 go 1.13+ packr - 静态文件打包 cron - 定时调度器 echo gorm 前端 vue iview-admin 使用 直接使用 下载git上的release列表，根据系统下载相应的二进……
[经验]入手golang,对比python聊聊想法
入手golang,对比python聊聊想法 背景 学习 感悟 背景 入职几个月以来，花了一点时间入门go ，平时上下班路上读读<Go语言编程>或者<Go语言实践>，写了大量的书本代码，然后上手写了两个项目:一个后端高IO的api，另外一个是 web 调度系统，等到第一个系统写……
[回炉]阻塞与非阻塞,同步与异步
背景 在接触一些新的技术时，某些名词总会频繁出现，之前一直没花时间来去专注了解这些东西，本质上是自己太过于懒惰，所以花了一点时间，找寻了关于这方面的资料，这一期先总结这些内容，然后再进一步的去讲解python下的GIL 解析 直接上经典的图 blocking IO Non-blocking IO IO multiplexing signal-driven IO async IO 总结 应用 read write connect……
[后端] python下的web framework大比拼
目录 背景 简介 测试 结论 背景 一直以来，python的web框架给别人的感觉就是: 一个能打的都没有。社区也在不断的努力,特别在 asyncio 爆发之后，出现了一些新的异步框架，比如sanic,比如vibora,相比传统的flask, django，这些新的框架相对成熟了很多，而且在性能上已经有长足的进……