猫史档案馆

1、创建一个爬虫项目

在项目中新建middlewares.py文件(./项目名/middlewares.py)

2、使用代理服务器

采集大量数据时，最好使用代理。防止IP被封，下载次数受限等。

3、解决爬虫登陆

表单登陆：这种情况属于post请求，即先向服务器发送表单数据，服务器再将返回的cookie存入本地。

使用cookie登陆：

使用cookie登陆，服务器会认为你是一个已登陆的用户，所以就会返回给你一个已登陆的内容。因此，需要验证码的情况可以使用带验证码登陆的cookie解决。

4、模拟真实用户

有些网站会检查你是不是真的浏览器访问，还是机器自动访问的。这种情况，加上User-Agent，表明你是浏览器访问即可。有时还会检查是否带Referer信息还会检查你的Referer是否合法，一般再加上Referer。

User-Agent可以用亿牛云提供给的真实库，Referer的来源可以伪装成百度搜索来的。