(1)分布式下的爬虫Scrapy应该如何做-安装
windows
关于Scrapy的安装,网上一搜一大把,一个一个的安装说实话是有点麻烦,那有没有一键安装的?答案显然是有的,下面就是给神器的介绍:
主页:http://conda.pydata.org/docs/
下载地址:http://continuum.io/downloads
两个版本,64位和32位,根据自己的系统下载,下载之后一键安装,安装完之后以管理员身份运行CMD,输入下列命令:
conda install scrapy
出现对话是否安装,输入Y,吃吃薯片,看看毛片,等着安装完就好了。完了之后就可以愉快的使用了
另外注意
win下的某些库需要vc++相关的文件
error: Microsoft Visual C++ 9.0 is required (Unable to find vcvarsall.bat). Get it
正常安装就可以啦,去官网下载vc++ for python, ===>下载链接<===
ubuntu
这边准备的系统14.04 或者更高的版本,首先准备好相关的依赖文件
sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
然后直接pip 安装,这里有个提醒的地方,如果是做python的开发,你要学会使用虚拟环境将每个环境分开,因为不同的环境下都会存在冲突,版本,所以需要使用啥功能,就单独开一个独立的python环境,下面直接使用pip安装
pip install scrapy
使用
两个版本都安装完后,不要忘记正常的使用一下,确定版本是否成功,命令行下直接使用
scrapy --version
- 原文作者:大鱼
- 原文链接:https://brucedone.com/archives/155/
- 版权声明:本作品采用知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议. 进行许可,非商业转载请注明出处(作者,原文链接),商业转载请联系作者获得授权。