scrapy下的一些常见错误处理

常见的一些小错误分类处理

• 内部错误
• 逻辑错误
• 其它错误

内部错误

• TypeError
  • 表现形式:TypeError: ‘float’ object is not iterable
  • 相关搜索:https://github.com/scrapy/scrapy/issues/2461
  • 解决方法:sudo pip install -U Twisted==16.6.0
• ERROR: Unable to read the instance data ,giving up
  • 表现形式: 直接error 报错，拿不到数据
  • 相关搜索: 无
  • 解决方法: 回调函数中，必须返回 Request 对象 或者Item对象 ，可以直接返回这种类型的数据就可以了
• Library not loaded: /opt/local/lib/libssl.1.0.0.dylib (LoadError)
  • 解决方法: brew remove openssl 先卸载，然后 brew install openssl
• unknown command: crawl error
  • 表现形式: 无法使用crawl 命令
  • 相关搜索 : unknown-command-crawl-error
  • 解决方法 : 切换到有scrapy.cfg文件下，然后使用命令

周边错误

• scrapyd run spider 出现 TypeError: __init__() got an unexpected keyword argument ‘_job
  • spider 的init函数 需要改成 __init__(*args,**kwargs)
  • 相关搜索： https://github.com/scrapy/scrapyd/issues/78