iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > Python >python中requests库安装与使用详解
  • 354
分享到

python中requests库安装与使用详解

2024-04-02 19:04:59 354人浏览 安东尼

Python 官方文档:入门教程 => 点击学习

摘要

目录前言1、Requests介绍2、requests库的安装3、requests库常用的方法4、response对象的常用属性5、使用requests发送get请求5.1  

前言

记得我刚学python-requests库的时候总会有点晕,于是我做了以下关于requests库的知识点整理,方便初学者可以更好的了解requests库。如果有补充或错误,或者不懂的地方,可以评论区留言。

1、Requests介绍

Requests是Python一个很实用的Http客户端,完全满足如今网络爬虫的需求

urllib库和requests库功能类似,但requests库功能更多更实用

2、requests库的安装

pip命令安装(方法一)

源码安装(方法二)

  • 下载 requests源码 http://mirrors.aliyun.com/pypi/simple/ requests/
  • 下载文件到本地之后,解压到Python安装目录,之后打开解压文
  • 运行命令行输入python setup.py install 即可安装

测试

  • import requests
  • 如果没提示错误,那说明已经安装成功了!

3、requests库常用的方法

序号

方法

描述

1

requests.request(url)

构造一个请求,支持以下各种方法

2

requests.get()

发送一个Get请求

3

requests.post()

发送一个Post请求

4

requests.head()

获取html的头部信息

5

requests.put()

发送Put请求

6

requests.patch()

提交局部修改的请求

7

requests.delete()

提交删除请求

最常用的方法为get()和post()分别用于发送Get请求和Post请求

4、response对象的常用属性

序号

属性或方法

描述

1

response.status_code

响应状态码

2

response.content

把response对象转换为二进制数据

3

response.text

把response对象转换为字符串数据

4

response.encoding

定义response对象的编码

5

response.cookie

获取请求后的cookie

6

response.url

获取请求网址

7

response.json()

内置的JSON解码器

8

Response.headers

以字典对象存储服务器响应头,字典键不区分大小写

5、使用requests发送get请求

  • 不带参数的get请求
    • 案例:爬取百度主页
  • 带参数的get请求
    • 案例:贴吧
  • 获取JSON数据
    • 案例:百度美女图片
  • 获取二进制数据
    • 案例:下载百度loGo

5.1  不带参数的get请求

# 不带参数的get请求
 
import requests
url='http://www.baidu.com'
resp = requests.get(url)
# 设置响应的经编码格式
resp.encoding='utf-8'
cookie=resp.cookies    # 获取请求后的cookie信息
headers=resp.headers
print('响应状态码:', resp.status_code)
print('请求后的cookie:', cookie)
print('获取请求的网址:', resp.url)
print('响应头:', headers)
print('响应内容', resp.text)
----------------------------------以下为输出结果----------------------------------
'''
响应状态码: 200
请求后的cookie: <RequestsCookiejar[<Cookie BDORZ=27315 for .baidu.com/>]>
获取请求的网址: http://www.baidu.com/
响应头: {'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, no-transfORM', 'Connection': 'keep-alive', 'Content-Encoding': 'gzip', 'Content-Type': 'text/html', 'Date': 'Fri, 23 Apr 2021 00:10:35 GMT', 'Last-Modified': 'Mon, 23 Jan 2017 13:28:16 GMT', 'Pragma': 'no-cache', 'Server': 'bfe/1.0.8.18', 'Set-Cookie': 'BDORZ=27315; max-age=86400; domain=.baidu.com; path=/', 'Transfer-Encoding': 'chunked'}
响应内容 <!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type.........
'''

5.2 带参数的get请求

5.2.1 查询参数params

  • params,数据类型为字典
  • 作用:对URL地址中的查询参数自动进行编码拼接
  • 使用示例:resp = requests.get(url=baseurl, params=params, headers=headers)
# 带参数的get请求
 
import requests
url = 'https://tieba.baidu.com/f?'
params = {'kw':'大学吧', 'pn':'3'}
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64)'}
# 开始请求
html = requests.get(url=url, params=params, headers=headers).text
print(html)

5.2.2 SSL证书认证参数 verify

  • 参数值:True(默认)| False
  • 适用网站:https类型网站但是没有经过 证书认证机构 认证的网站
  • 适用场景:当程序中抛出SSLError异常则考虑使用此参数
  • 使用示例:requests.get(url=url,headers=headers,verify=False)
  • 当verify参数设置为False时,则不会再对网站进行SSL证书认证

5.2.3 设置超时时间 timeout

我们可以通过timeout属性设置超时时间,一旦超过这个时间还没获得响应内容,就会提示错误。

import requests
requests.get('http://GitHub.com', timeout=0.001)
 
---------------------以下为输出结果(报错)---------------------
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
requests.exceptions.Timeout: HTTPConnectionPool(host='github.com', port=80): Request timed out. (timeout=0.001)

5.2.4 代理IP参数 proxies

5.2.4.1 免费代理IP

  • 语法格式:proxies = { '协议':'协议://IP:端口号'}
  • 示例:
    • 当我们抓取的地址为http时,则会选择proxies中http的代理,反之为https
import requests
 
url = 'http://httpbin.org/get'
headers = {'User-Agent':'Mozilla/5.0'}
# 定义代理,再代理IP网站中查找免费代理IP
proxies = {
    'http':'http://112.85.164.220:9999',
    'https':'https://112.85.164.220:9999'
}
html = requests.get(url=url,proxies=proxies,headers=headers,timeout=5).text
print(html)

5.2.4.1 私密代理和独享代理

语法格式:proxies = { '协议':'协议://用户名:密码@IP:端口号'}

示例:

5.3 获取JSON数据

# 获取json数据
 
# 案例:百度获取宫崎骏动漫图片
# 滑动页面,URL没变化,F12中的文件越来越多,说明这是动态网页
# 选择XHR中的一个,复制其Request URL,粘贴给url
 
import requests
url='https://image.baidu.com/search/acjson?tn=resultjson_com&logid=10167214135414424439&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E5%AE%AB%E5%B4%8E%E9%AA%8F%E5%8A%A8%E6%BC%AB%E5%9B%BE%E7%89%87&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&hd=&latest=&copyright=&word=%E5%AE%AB%E5%B4%8E%E9%AA%8F%E5%8A%A8%E6%BC%AB%E5%9B%BE%E7%89%87&s=&se=&tab=&width=&height=&face=&istype=&qc=&nc=&fr=&expermode=&force=&pn=30&rn=30&gsm=1e&1619134335166='
resp=requests.get(url)
json_data=resp.json()
print(json_data)

5.4 获取二进制数据

一般来说,对于非文本请求,可以以字节形式访问响应正文。

# 获取二进制数据
 
# 案例:保存百度图片
import requests
url='https://www.baidu.com/img/bd_logo1.png'
resp=requests.get(url)
# 存储
with open('logo.png','wb') as file:
    # resp.content:把response对象转换为二进制数据
    file.write(resp.content)

6、使用requests发送post请求

  • 语法结构
    • requests.post(url, data=None, json=None)
  • 参数说明
    • url:需要爬取的网站的网址
    • data:请求数据
    • json:json格式的数据
  • 案例:登录小说楼
    • https://www.xslou.com/login.PHP
import requests
url='https://www.xslou.com/login.php'
data={'username':'18600605736', 'password':'57365736', 'action':'login'}
resp = requests.post(url,data)
resp.encoding='gb2312'
print('响应状态码:', resp.status_code)   # 200
print('响应内容', resp.text)        # <html>......</html>

7、使用requests的session发送请求

import requests
url='https://www.xslou.com/login.php'
data={'username':'18600605736', 'password':'57365736', 'action':'login'}
 
# 使用session发送请求
session = requests.session()
resp=session.post(url,data=data)    # 使用session发送post请求
resp.encoding='gb2312'
# print( resp.text)        # <html>..<title>登录成功</title>....</html>

总结

到此这篇关于python中requests库安装与使用的文章就介绍到这了,更多相关python requests库详解内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

--结束END--

本文标题: python中requests库安装与使用详解

本文链接: https://www.lsjlt.com/news/119152.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • python中requests库安装与使用详解
    目录前言1、Requests介绍2、requests库的安装3、requests库常用的方法4、response对象的常用属性5、使用requests发送get请求5.1  ...
    99+
    2024-04-02
  • Python requests 安装与
    Requests 是用Python语言编写HTTP客户端库,跟urllib、urllib2类似,基于 urllib,但比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP 测试需求,编写爬虫和测试服务器响应数据时经常会用...
    99+
    2023-01-31
    Python requests
  • python如何安装requests库
    python安装requests库的方法:1、打开运行窗口输入“cmd”进入命令行窗口;2、输入“pip install requests”命令来安装requests库;3、安装成功后,在python编辑器中输入“import reques...
    99+
    2024-04-02
  • Python中requests库的用法详解
    目录一、requests库安装请求响应二、发送get请求1、一个带参数的get请求:2、响应json3、添加头信息headers4、添加和获取cookie信息三、发送post请求1、...
    99+
    2024-04-02
  • python爬虫之requests库的使用详解
    目录python爬虫—requests库的用法基本的get请求带参数的GET请求:解析json使用代理获取cookie会话维持证书验证设置超时异常捕获异常处理 总结 python爬虫...
    99+
    2024-04-02
  • Python之requests怎么安装使用
    1.准备工作首先呢,我们要确保我们已经之前安装requests库,如果没有安装,按照下面步骤按照库。pip 安装无论是 Windows、Linux 还是 Mac,都可以通过 pip 这个包管理工具来安装。在命令行下运行如下命令即可完成 re...
    99+
    2023-05-18
    Python Requests
  • python中Requests请求的安装与常见用法
    目录一、requests二、requests安装方式三、说说常见的两种请求,get和post1、get请求2、post请求四、requests发送请求五、response补充:req...
    99+
    2024-04-02
  • Python中requests库怎么使用
    这篇文章主要介绍了Python中requests库怎么使用的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇Python中requests库怎么使用文章都会有所收获,下面我们一起来看看吧。一、requests库re...
    99+
    2023-06-30
  • 关于Python如何安装requests库
    安装requests库之前我们需要先看一下电脑上有没有pip,可以在cmd中输入pip list查看,若出现以下内容则电脑已安装pip,否则需要先安装pip。 若电脑还没有安装Py...
    99+
    2023-05-16
    Python requests库 Python 安装requests库
  • Pycharm安装使用requests第三方库的详细教程
    本篇内容主要讲解“Pycharm安装使用requests第三方库的详细教程”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Pycharm安装使用requests第三方库的详细教程”吧!reques...
    99+
    2023-06-20
  • Python 网页请求之requests库的使用详解
    目录1.requests库简介2.requests库方法介绍3.代码实例1.requests库简介 requests 是 Python 中比较常用的网页请求库,主要用来发送 HTTP...
    99+
    2024-04-02
  • Python爬虫Requests库的使用详情
    目录一、Requests库的7个主要的方法二、Response对象的属性三、爬取网页通用代码四、Resquests库的常见异常五、Robots协议展示六、案例展示一、Requests...
    99+
    2024-04-02
  • 离线安装python的requests库方法
    目录前言1、下载安装包1.1 检查requests模块所需依赖包1.2 下载requests所需依赖包1.3 下载requests包2、安装2.1 安装requests所需依赖包2....
    99+
    2024-04-02
  • Python爬取求职网requests库和BeautifulSoup库使用详解
    目录一、requests库1、requests简介2、安装requests库3、使用requests获取网页数据 我们先导入模块4、总结requests的一些方法二、Beautifu...
    99+
    2024-04-02
  • Windows下NumPy库的安装与使用详解
    在数据科学和机器学习领域,NumPy是一个非常流行的Python库,它提供了一个强大的多维数组对象和各种计算功能。在Windows操作系统下安装和使用NumPy库也非常简单。本文将详细介绍Windows下NumPy库的安装和使用方法。 安...
    99+
    2023-06-27
    windows numpy leetcode
  • Python中requests库的学习方法详解
    目录前言一 URL,URI和URN1. URL,URI和URN2. URL的组成二 请求组成1. 请求方法2. 请求网址3. 请求头4. 请求体三 请求1. get请求2. get带...
    99+
    2024-04-02
  • Python之Requests模块简介与安装
    Requests模块简介   在python的标准库中,虽然提供了urllib,utllib2,httplib,但是做接口测试,requests使用更加方便快捷,正如官方说的,“让HTTP服务人类”。   Requests是用python语...
    99+
    2023-09-04
    python pycharm 开发语言 接口自动化测试 自动化测试
  • 如何离线安装python的requests库
    这篇文章给大家分享的是有关如何离线安装python的requests库的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。1、下载安装包1.1 检查requests模块所需依赖包在可以上网且已经安装python的机器上...
    99+
    2023-06-29
  • Python HTTP库 requests 的简单使用详情
    目录1、简单使用2、构建请求查询参数3、构建请求头Headers4、构建POST请求数据 4.1 表单数据4.2 json数据5、获取响应内容6、Cookies7、超时配置8、代理r...
    99+
    2024-04-02
  • GNS3安装与使用详解
    一、GNS3的安装以及配置       安装的路径很重要,如果不是按照默认路径安装的话,安装完要到编辑下的首选项里修改几个东西的路径。这对于我们新手比较麻烦,所以 建议新手按照默认路径安装咯。然后如果360安全卫士有提示,全部选择“允许”...
    99+
    2023-01-31
    详解
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作