标签：爬虫

背景 近期需要写一些网络爬虫，用于释放部分工作量，由于其中部分需要采集大量的信息，难免会触及到网站的反爬机制。 代理池 前期公司提供了一些ip,但由于量巨大，所以在开始寻找代理吃，就发现了pyhon的ProxyPool。 ProxyPool 爬虫代理IP池项目,主要功能为定时采集网上发布的免费代理验…