背景

写好的爬虫放在网上爬，被ban其实是一件很郁闷的事情，现在各个网站都会有相应的防爬的措施，一般来说模拟请求头一般都够了，不过仅仅是模拟请求头够么，答案当然是否定的，我们至少需要手动的打开一个网站，用fiddler 或者Chrome 的 F12 来具体看看我们一次真实的请求都做了哪些操作。

 

关于chrome和fiddler的使用，我就不细说了，自己百度吧，我们一般看到，在一次真实的请求中，我们都会带着各种样的请求参数，如果将这些参数补全，那我们被ban的机率也会相应的减少很多。如何将这些参数在scrapy的项目补齐，那就是我们本次的研究主题。在开始这个问题之前，我们回头来看看scrapy的架构

 

从架构中我们可以清晰的看到，如果要操作这些参数，我们可以从Downloader Middlewares下载中间件着手，有人可能会有疑问：我记得Spider中有一个start_requests的方法，不是可以写到代码中么？

Scrapy在架构和django都有点类似，那就是松散耦合的原则，各个功能和文件都应该各司其职，做好自己的事情。

引用：http://doc.scrapy.org/en/latest/topics/downloader-middleware.html

现在我们要实现这样的一个功能，在我们请求的时候，我们可以随机的更换请求头(User-Agent)

在settings.py 添加如下代码请求头列表

 

建立DownloadMiddleWare文件

 

 

 

编写代码

 

download midware 提供了三个方法：

 process_request(request, spider)

 process_response(request, response, spider)

 process_exception(request, exception, spider)

 

我们直接从字面意思上就可以看到第一个方法，在预处理我们的请求的，第二个方法是处理返回的一些数据的，第三个是当spider发生错误会调用的方法，第一个方法，就是我们要重载的方法。

添加如下代码

我们从配置文件中随机取出了一个请求头，然后赋值给request对象。

启用中间件

运行效果

总结

本次文章只是分析请求头更换这一种常见的策略，另外一些策略包括：添上cookies信息，启用随便下载延迟，增加代理更换的，这些都可以在downloadmidware中间件完成，所以发挥你的想象，做一个更耐用的爬虫出来吧，少年.