爬虫应该怎么部署到ubuntu上

环境准备

  • ubuntu服务器
  • scrapyd
  • scrapyd-client
  • 一个写好的scrapy爬虫文件

开始执行

安装package

开启scrapyd服务器

直接在某个窗口执行命令scrapyd,会得到以下信息

如上所示,这个时候就已经开启了scrapyd服务器了,在当前机器的端口开启了6800端口,打开本地的浏览器http://127.0.0.1:6800就可以看到scrapyd的界面了

部署爬虫

切换到存在scrapy.cfg文件目录,打开scrapy.cfg文件

我们看下deploy下的url,这个就是直接指向你scrapyd所在机器的端口了,假定你机器A:192.168.0.1 上开启的scrapyd服务上,你要从B机器上部署上去,那这里的url就要填http://192.168.0.1:6800(另外,请你保证你能从B机器上访问到)

使用命令

OK,就可以看到正常的部署了,这个时候你就可以使用命令操作你的spider了

scrapyd使用

更多命令参考,请点击==>传送门<==

点赞