使用scrapy有用的一些细节点

使用心得

  • extract()方法得到的都是数组,所以如果你要撮出来一个字符串,使用join方法就可以了,记得判断是否为空
  • settings如果你要自己定义的header,记得禁用cookie_enable ,不然会带上自定义的header
  • 可以使用respose.body_as_unicode方法直接拿到unicode的返回体(都以unicode进行交互,这样的方式很方便数据的转换)

值得关注的相关项目

相关的博客资源

文档及其它资源

点赞
  1. junior_scraper说道:

    看到你写的内容,深有收获,谢谢

    1. hi,I'm frank说道:

      谢谢,能收获就好:)

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据