[置顶]scrapy爬虫教程导航

教程导航 (1)分布式下的爬虫Scrapy应该如何做-安装 (2)分布式下的爬虫Scrapy应该如何做-关于对Scrapy的反思和核心对象的介绍 (3)分布式下的爬虫Scrapy应该如何做-递归爬取方式,数据输出方式以及数据库链接 (4)分布式下的爬虫Scrapy应该如何做-规则自动爬取……

阅读全文

新python环境和项目管理工具-rust uv

安装 按照官方指引,可以全局安装,也可以在具体的pyhon解释器用pip安装(换句话说可以和全局解释器共存,比如类似miniconda的版本管理器) https://github.com/astral-sh/uv Rust出品,属实精品! 使用 初看 (base) [root@VM-113-76-centos /data/projects/personal]# uv -h An extremely fast Python package manager. Usage: uv [OPTIONS] <COMMAND> Commands: run Run a command or script init Create a new project add Add dependencies to the project remove Remove dependencies from the project sync Update the project's environment lock Update the project's lockfile export……

阅读全文

博客的重生与未来

开始 2023.8.13, 博客终于还是要迁移至腾讯云了,三个原因: wordpress常年疏于打理,写作习惯自从迁移至markdown后难以切回去 阿里云到期了,续期的性价比真的不高,还不如轻量云服务 hugo相对于wp, 速度更快,更轻量, 也是go写的,方便自己二次开发 准备 wordpress导出插件 - https://github.com/SchumacherFM/wordpress-to-hugo-exporter 相……

阅读全文

[c++] vscode c++ clang格式化定义

这是个人的c++ vscode代码定义,存在这里备份一下 根文件下新增.clang-format文件 贴上以下内容 # 基本的语言规范 BasedOnStyle: LLVM # 访问说明符(public、private等)的偏移 AccessModifierOffset: -4 # 开括号(开圆括号、开尖括号、开方括号)后的对齐: Align, DontAlign, AlwaysBreak(总是在开括号后换行……

阅读全文

从0到1设计一套高性能隧道代理系统

目录 背景 现状 挑战 设计 实测 不足 总结 背景 旧系统随着节点数量增多,平均TPS处理能力越来越低下, 延迟越来越高,在业务不断扩张的同时,旧系统越来越难以满足需求 现状 低可用 旧系统在设计之初主要是满足于100台以内集群规模,随着业务增长,目前集群规模已经上升到1000多台,量级增长了10多倍,……

阅读全文

[python好库推荐] selenium-driver 自动安装

背景 在新创建python环境之后,总是免不了要去找selenium-driver 二进制文件,然后安装相应的python selenium包,实在是太麻烦了,下面介绍一种省时省力的方法 pip install webdriver-manager 使用以上命令安装咱们的主角: webdriver-manager 使用方式 使用Chrome: from selenium import webdriver from webdriver_manager.chrome import ChromeDriverManager driver = webdriver.Chrome(ChromeDriverManager().install()) 使用Chromi……

阅读全文

[Clock]没错!就是让你点点点完成可视化任务调度!

Clock 基于go cron的可视化调度轻量级调度框架,支持DAG任务依赖,支持bash命令,前端及后端编译完成(基于packr2)后仅有一个二进制文件,轻松部署 地址 https://github.com/BruceDone/clock 环境 后端 go 1.13+ packr - 静态文件打包 cron - 定时调度器 echo gorm 前端 vue iview-admin 使用 直接使用 下载git上的release列表,根据系统下载相应的二进……

阅读全文

[经验]入手golang,对比python聊聊想法

入手golang,对比python聊聊想法 背景 学习 感悟 背景 入职几个月以来,花了一点时间入门go ,平时上下班路上读读<Go语言编程>或者<Go语言实践>,写了大量的书本代码,然后上手写了两个项目:一个后端高IO的api,另外一个是 web 调度系统,等到第一个系统写……

阅读全文

[回炉]阻塞与非阻塞,同步与异步

背景 在接触一些新的技术时,某些名词总会频繁出现,之前一直没花时间来去专注了解这些东西,本质上是自己太过于懒惰,所以花了一点时间,找寻了关于这方面的资料,这一期先总结这些内容,然后再进一步的去讲解python下的GIL 解析 直接上经典的图 blocking IO Non-blocking IO IO multiplexing signal-driven IO async IO 总结 应用 read write connect……

阅读全文

[后端] python下的web framework大比拼

目录 背景 简介 测试 结论 背景 一直以来,python的web框架给别人的感觉就是: 一个能打的都没有。社区也在不断的努力,特别在 asyncio 爆发之后,出现了一些新的异步框架,比如sanic,比如vibora,相比传统的flask, django,这些新的框架相对成熟了很多,而且在性能上已经有长足的进……

阅读全文

最近文章

分类

标签

.net Core 2.1 2016 2017 2018 30 aliyun api async bi,微软大数据 blocking bug C# celery charles chrome chrome headless clang conda coroutine cron cuda dag dagobah darknet debug docker docker-compose dotnet core echo elk epoll error error_code etl flask GC go golang google gpu gunicorn http javascript linux lxml mac message queue mongodb nginx node non-blocking nvidia nvidia-docker opencv oss phantomjs pipeline portia proxy pycharm pytest python python-rq python2.7 python3 remote debug rq scrapy select selenium selenium-web-driver spider splash ssis sync TDD Template Tensorflow test tmux torch ubuntu venv video vscode web web framework webapi whistle xpath yield yolo yolov3 中间件 事件 人生 代理 代码 代码生成器 代码风格 优化 使用 分布式 分析 协程 卓老板聊科技 原理 可变类型 可视化 同步 垃圾回收 培训 基础 处理 多线程 大数据 学习 定时 定时任务 容器 工具 工程 底层 建议 异步 录制 心得 心得,python,培训班 总结 感悟 成长 打断点 技巧 推荐 插件 搜索引擎 播放 效率 数据 数据库 数据清洗 整洁 无头浏览器 日志 机器学习 架构 死亡 测试 消息队列 深度学习 渲染 源码 源码分析 点击 爬虫 状态码 生活 癌症 监听 破解验证码 线程 经验 网关 自我管理 自由 虚拟环境 视觉化爬虫 视频 设计 读书 调度 调试 负载均衡 远程调试 错误 阻塞 阿里云 隧道 隧道代理 集群 非阻塞 项目管理 验证码

友情链接

其它