您的位置:首页 >新闻资讯 > 正文

爬虫中代理IP怎么使用的,失效了怎么办?

来源:互联网 作者:admin 时间:2019-08-21 11:31:14

      安全避免同一个代理IP访问同一个网页,对于长时间访问同一个网页的IP,极大可能性IP会被封掉。


  方便解决IP代理问题技术含量高,找代理处理方便省事。


  成本低自己去维护服务器成本过高,不低于长久持续发展。


  代理IP如何使用?


爬虫中代理IP怎么使用的,失效了怎么办?

爬虫中代理IP怎么使用的,失效了怎么办?


  代理IP有效性方法:在有限时间内正常访问url即可,如果访问了,证明代理IP是有效的


爬虫中代理IP怎么使用的,失效了怎么办?

爬虫中代理IP怎么使用的,失效了怎么办?

爬虫中代理IP怎么使用的,失效了怎么办?

爬虫中代理IP怎么使用的,失效了怎么办?

爬虫中代理IP怎么使用的,失效了怎么办?

  IP代理基本上是这个流程了


  代理失效了如何处理?


  class urllib.request.ProxyHandler(proxies=None)Cause requests to go through a proxy. If proxies is given, it must be a dictionary mapping protocol names to URLs of proxies.


  (通过代理方法请求,如果给定一个代理,它必须是一个字典映射,key为协议,value为URLs或者代理ip。)


  urllib.request.build_opener([handler, ...])Return an OpenerDirector instance, which chains the handlers in the order given.


  (build_opener方法返回一个链接着给定顺序的handler的OpenerDirector实例。)urllib.request.install_opener(opener)Install an OpenerDirector instance as the default global opener.


  (install_opener方法安装OpenerDirector实例作为默认的全局opener。)


  简单整理下:1、将代理IP及其协议载入ProxyHandler赋给一个opener_support变量;2、将opener_support载入build_opener方法,创建opener;3、安装opener。具体代码如下:from urllib import requestdef ProxySpider(url, proxy_ip, header):opener_support = request.ProxyHandler({'http': proxy_ip}) opener = request.build_opener(opener_support) request.install_opener(opener) req = request.Request(url, headers=header)rsp = request.urlopen(req).read()return rsp


相关文章内容简介