使用scrapy有用的一些细节点

使用心得

  • extract()方法得到的都是数组,所以如果你要撮出来一个字符串,使用join方法就可以了,记得判断是否为空
  • settings如果你要自己定义的header,记得禁用cookie_enable ,不然会带上自定义的header
  • 可以使用respose.body_as_unicode方法直接拿到unicode的返回体(都以unicode进行交互,这样的方式很方便数据的转换)

值得关注的相关项目

相关的博客资源

文档及其它资源

点赞
  • junior_scraper

    看到你写的内容,深有收获,谢谢

    • hi,I'm frank

      谢谢,能收获就好:)