爬虫关于ip管理池的应用,在爬虫的时候经常会遇到一个问题就是ip被封,由于ip对网站的短时间大量请求,让网站将我们的ip暂时封掉。这样我们就无法全部爬 取自己想要的内容。这里百度了一下解决办法,很多人都提到了ip代理管理池的问题,其大致思想就是在一些网站上找一些免费的ip代理,然后将他们放入一个列表中,这样我们 就可以用这些免费的ip代理来不断更换,每当一个ip被封后我们就用代码调用下一个IP代理,直到我们爬完我们想要的数据。
大致思路如下:(这里我用Python来讲)
1.访问一个国内免费ip代理的网站(注意要获取高匿的ip),这里我们以网站有代理(http://www.youdaili.net/)为例,进入后找到http代理点击进入,然后点击列表中最新日期的免费代理,就可以看到很多最新的免费ip代理。
2.用Python的BeautifulSoup解析这个页面,从页面中获取所有的ip地址及端口号,组合(ip:port的形式)起来存入一个列表中。
3.获得了所有的ip后,接下来我么要验证这些ip能不能用,因为免费的ip代理大部分都是不能用的,所以我们就要从这些在网页上爬取的ip进行检查, 去掉那些不能用的,具体方法是(注意一点Python中代理参数的格式是proxy= {'http':'http://ip:port'}):首先我们将ip配置为Python中代 理参数的默认格式,然后我们用urllib.request.ProxyHandler方法将proxy传入,接着用urllib.request.build.opener和urllib.request.install_opener()一次处理, 代理参数就配置好了,然后我们以百度为测试网站,测试看看我们的代理ip能不能,用urllib.request.urlopen()如果能返回则证明可用反之不能用。能用的话我们就添加到一个新的列表中加一保存。
注:出入讲解的缘故,一下代码只爬取的免费代理网站上面的首页所有ip和port,至于翻页什么的大家应该可以自己搞定。
代码如下:
18
2019-12
13
2019-06
03
2019-09
18
2019-09
23
2019-10
09
2019-10