基于scrapy可见可得的爬虫工具arachnado

效果预览和项目所在 先上Git地址:https://github.com/TeamHG-Memex/arachnado 这个库在去年8月就已经上线了,作者写的东西和整体的UI界面满不错的, 这是从youtube下载下来后上传到youku的演示效果 整体的效果确实真的很不错,基于torna……

阅读全文

转[开发环境配置]在Ubuntu下配置舒服的Python开发环境

在Ubuntu下配置舒服的Python开发环境 # 安装 Python 发布版本,dev包必须安装,很多用pip安装包都需要编译 sudo apt-get install python2.7 python2.7-dev python3.2 python3.2-dev # 很多pip安装的包都需要libssl和libevent编译环境 sudo apt-get install build-essential libssl-dev libevent-dev libjpeg-dev libxml2-dev libxslt-dev # 安装 pip sudo apt-get install python-pip # 安装 virtualenv sudo pip install virtualenv # 安装 python2.7 virtualenv virtualenv --no-site-packages -p /usr/bin/python2.7 ~/.venv/python2.7 # 安装 python3.2 virtualenv virtualenv --no-site-packages -p /usr/bin/python3.2 ~/.venv/python3.2 <p>……

阅读全文

转自coolshell--vim的基本操作

你想以最快的速度学习人类史上最好的文本编辑器VIM吗?你先得懂得如何在VIM幸存下来,然后一点一点地学习各种戏法。 Vim the Six Billion Dollar editor Better, Stronger, Faster. 学习 vim 并且其会成为你最后一个使用的文本编辑器。没有比这个更好的文本编辑器了,非常地难学,但是却不可思议地好用。 我建议下面这四个步骤: 存活 感觉良好 觉得……

阅读全文

[pyspider]初识,安装以及本地的Dashbord的使用

在正式进入之前,我自己在本地试验了win7和ubuntu的环境,由于phantomjs(解析ajax和js的环境,所以最后还是使用了ubuntu 14.04 64 bit 的环境),不得不感叹,ubuntu真的是给开发者用的。 一,pip安装 介于国外的pip官网只是会出现各种蛋疼的反应,可以使用阿里云来……

阅读全文

[python基础]列表和元组

一,结构图 二,序列的相关 1.大致的预览 在python的世界里,有6种内建的序列 列表 : [1,2,3,4,5,6,7] 元组: (1,2,3,5,6) 字符串:’今天天气不错呀’ Unicode字符串:’\u9007\u8222&#8217; buffer对象: xrange对象: 列表和元组区分开:是列表可以修改,元组不可以修改. 如果……

阅读全文

[python基础]关于包,类,模块的那些事儿

在理解python的包,类,模块之前,我一直是将他类比为dll,C#的类,命名空间的这种参照,这其实和C#还是存在差异的,我们先从宏观上来看这些单位. 类 关于类的定义出现在各个语言之中,在OOP中几乎是最小的封装单元了,方便更高的复用 模块 我们知道,在C#如果新建一个文件夹folde……

阅读全文

[python IDE] 舒服的pycharm设置

个人使用的IDE有国产的ulipad,sublime text 3 ,或者vs集成下的,不过讲到好用跨平台,还真是只有pycharm 写python最舒服,一个是因为有社区版,免费,不存在版权问题,另外跨平台,ubuntu ,windows,mac 都用的很舒服,然后配置一些常用设置,就能达到很好的效果,OK我将我自己……

阅读全文

[python基础]关于中文编码和解码那点事儿

我们在用python处理中文的时候,或多或少会遇到这样一些错误 常见错误1: SyntaxError: Non-ASCII character '\xe4' in file C 常见错误2: UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128) 毫无疑问,我们在用python2.7.x的时候都会遇到这种问题,我们常规的解法又是怎么样的呢 # coding:utf-8 import requests def print_text(): url = 'http://www.cnblogs.com/' print requests.get(url).text.encode('utf-8') print_text() 首先在文件py文件的头部加上标识cod……

阅读全文

[python基础]关于装饰器

在面试的时候,被问到装饰器,在用的最多的时候就@classmethod ,@staticmethod,开口胡乱回答想这和C#的static public 关键字是不是一样的,等面试回来一看,哇,原来是这样,真佩服我当时厚着脸皮回答的那些问题… OK,先来张图看看装饰器内容: OK,我们……

阅读全文

从.net转型,聊聊最近一些面试,薪资和想法

上一个星期,一篇名为《.net估计要写在你手里了》几乎点燃了整个园子,有人群情激愤了,有人点赞的,有人上去打算喷博主个体无完肤的,总之,这篇博客很成功的引起一些.net 从业者的思考,也包括我。 写那篇博客的人是一名从业6年的.net coder,之所以定义为coder,我在回顾了博主……

阅读全文

最近文章

分类

标签

.net Core 2.1 2016 2017 2018 30 aliyun api async bi,微软大数据 blocking bug C# celery charles chrome chrome headless clang conda coroutine cron cuda dag dagobah darknet debug docker docker-compose dotnet core echo elk epoll error error_code etl flask GC go golang google gpu gunicorn http javascript linux lxml mac message queue mongodb nginx node non-blocking nvidia nvidia-docker opencv oss phantomjs pipeline portia proxy pycharm pytest python python-rq python2.7 python3 remote debug rq scrapy select selenium selenium-web-driver spider splash ssis sync TDD Template Tensorflow test tmux torch ubuntu venv video vscode web web framework webapi whistle xpath yield yolo yolov3 中间件 事件 人生 代理 代码 代码生成器 代码风格 优化 使用 分布式 分析 协程 卓老板聊科技 原理 可变类型 可视化 同步 垃圾回收 培训 基础 处理 多线程 大数据 学习 定时 定时任务 容器 工具 工程 底层 建议 异步 录制 心得 心得,python,培训班 总结 感悟 成长 打断点 技巧 推荐 插件 搜索引擎 播放 效率 数据 数据库 数据清洗 整洁 无头浏览器 日志 机器学习 架构 死亡 测试 消息队列 深度学习 渲染 源码 源码分析 点击 爬虫 状态码 生活 癌症 监听 破解验证码 线程 经验 网关 自我管理 自由 虚拟环境 视觉化爬虫 视频 设计 读书 调度 调试 负载均衡 远程调试 错误 阻塞 阿里云 隧道 隧道代理 集群 非阻塞 项目管理 验证码

友情链接

其它