30分钟快速搭建Web CRUD的管理平台--django神奇魔法

加上你的准备的时间,估计30分钟完全够用了,因为最近在做爬虫管理平台,想着快速开发,没想到python web平台下有这么非常方便的框架,简洁而优雅。将自己的一些坑总结出来,方便给大家的使用。 准备环境: 系统:win7 or ubuntu django版本:1.8.5 python版本:2.7.6 数据库……

阅读全文

Python基础学习导引--条件,循环和其它语句(读书笔记)

一,打印 Print语句可以用来打印由逗号隔开的多个值。如果语句以逗号结尾,后面的语句会在同一行内被继续打印,这一点和VB的语法有点像 name = 'this' name_1 = 'is' name_2 = 2 print name,name_1,'not',name_2 输出: this is not 2 二,导入 有些时候,你可以将import ….as….语句进行函数的局部重命名,和.ne……

阅读全文

一个开发者的独白--ubuntu下的常用命令及常用软件及设置

命令合集 1.最常用的 sudo apt-get install 软件名 2.cd 命令 切换目录 直接打cd命令,切换到home目录之下 打完cd然后 按tab ,可以自动完成一些命令,相当的实用 3.mkdir 创建文件夹 4.rm -r 删除文件夹或者文件 5.ls -al 列出全部的文件 6.ls -l 列出权限信息 7.pwd 列出当前的目录 8.sh 脚本名,运行shell 脚本 9.find / -name 要找的文件名 10.chmod 更改文件夹……

阅读全文

一个开发者的独白-linux的转入使用

背景 昨天花了一点的时间安装ubuntu14.04,安装的过程满快的,说实话,ubuntu带给我的不仅仅是惊奇,确实相当的好用。到现在为止,遇到了相当多的坑,我在这里记录一下自己的历程 下载与版本选择 先说说自己的配置,公司发的笔记本,500g硬盘,双核CPU , 2G 内存,相当的一般的配置……

阅读全文

python下的自动化测试--selenium 验证码输入问题

背景 之前一直在研究scrapy下数据抓取,在研究ajax数据抓取时碰巧研究了一下selenium,确实很实用,不过只做scrapy下的数据抓取,不怎么合适 一是性能的损耗,一直需要开一个浏览器 二是对于爬虫来说,分析ajax的请求才是正事 好吧,说远了,今天来扯一下我对于自动化测试一些……

阅读全文

(4)分布式下的爬虫Scrapy应该如何做-规则自动爬取及命令行下传参

本次探讨的主题是规则爬取的实现及命令行下的自定义参数的传递,规则下的爬虫在我看来才是真正意义上的爬虫。 我们选从逻辑上来看,这种爬虫是如何工作的: 我们给定一个起点的url link ,进入页面之后提取所有的ur 链接,我们定义一个规则,根据规则(用正则表达式来限制)来提取我们想要的连接形式,然……

阅读全文

【实用】如何将sublime text 3 打造成实用的python IDE 环境

前段时间写脚本,一直使用的是pycharm ,无奈机器不配置实在不怎么样,我记得之前用过subline text,这是我用过的最酷炫的文本编辑器,参考了一下网上的文章,自己走了一些弯路,将心得写在这里,方便给需要帮助的人: 这是完成配置后的界面: 一,下载subline text 3 官网:http……

阅读全文

(3)分布式下的爬虫Scrapy应该如何做-递归爬取方式,数据输出方式以及数据库链接

[2016-11-21更新]关于demo代码,请参考: ===>scrapy_demo<=== 放假这段时间好好的思考了一下关于Scrapy的一些常用操作,主要解决了三个问题 如何连续爬取 数据输出方式 数据库链接 如何连续爬取 思考:要达到连续爬取,逻辑上无非从以下的方向着手 预加载需要爬取的列表,直接到这个列表都处理完,相应的……

阅读全文

使用scrapy有用的一些细节点

使用心得 extract()方法得到的都是数组,所以如果你要撮出来一个字符串,使用join方法就可以了,记得判断是否为空 settings如果你要自己定义的header,记得禁用cookie_enable ,不然会带上自定义的header 可以使用respose.body_as_unic……

阅读全文

最近文章

分类

标签

友情链接

其它