IP池的建立

简介: 今天测试百度api,遇到bug验证半天,最后发现是ip被墙,。所以寻找ip池方法

1、由于已经有人写了相关的代码,因此只需要用来对照使用即可。

2、仍然记录一些细节,该程序的运行不是直接点main.py的run就完事了, 而是需要在cmd下额外输入命令。

3、 检测ok的ip会自动保存到mongodb,但中间因为软件兼容问题,可能遇到bson模块异常,记得升级mongoengine到最新。

4、不过抓了400个ip,只有10个返回ok,

参考 Scrapy爬取美女图片第三集 代理ip(上) (原创)