iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > Python >python之urllib使用代理访问网页
  • 940
分享到

python之urllib使用代理访问网页

网页pythonurllib 2023-01-30 21:01:15 940人浏览 安东尼

Python 官方文档:入门教程 => 点击学习

摘要

在写爬虫前,先去xicidaili.com上面随便找两个免费的代码如下# coding: utf-8 __author__ = 'www.py3study.com' import&nb

在写爬虫前,先去xicidaili.com上面随便找两个免费的

代码如下

coding: utf-8
__author__ = 'www.py3study.com'
import urllib.request
import random
url = 'Http://www.baidu.com'

iplist = ['222.73.68.144:8090'] #这里是建了一个代理iplist地址池,如果有多个可往里面添加
proxy_support = urllib.request.ProxyHandler({'http':(random.choice(iplist))})
#random.choice(iplist) 随机去地址池去一个代理ip
opener = urllib.request.build_opener(proxy_support)
opener.addheaders =
[('User-Agent','Mozilla/5.0 (windows NT 6.1; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0')]
 #给opener添加一个heraders请求头部
urllib.request.install_opener(opener)
response = urllib.request.urlopen(url)
html = response.read()#.decode('utf-8')
print(html)

应该看到的效果

blob.png

会打印整个页面,这里只是截了一部分

--结束END--

本文标题: python之urllib使用代理访问网页

本文链接: https://www.lsjlt.com/news/178928.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作