Python requests库详解

引言

在网络请求中，Python中的requests库是一个十分强大和流行的库。它提供了一种简单、优雅且灵活的方式来发送HTTP请求，并处理响应。本文将详细介绍requests库的功能和用法，帮助读者了解如何利用该库来实现各种网络请求。

什么是requests库

requests是一个Python第三方库，用于发送HTTP请求。它是基于Python的urllib库进行封装的，提供了更高级别的API和更方便的使用方式。

使用requests库可以完成以下功能：

发送GET、POST、PUT、DELETE等各种类型的请求。
设置请求的Headers、Cookies和User-Agent等参数。
处理响应的状态码、Headers和内容等信息。
使用Session对象进行会话管理。
上传文件和获取文件。
处理重定向和HTTPS请求。
和其他第三方库（如JSON解析库、BeautifulSoup等）结合使用。

安装requests库

在使用requests库之前，需要先安装它。可以使用pip命令来安装：

pip install requests

发送GET请求

发送GET请求是最常见的请求类型之一。使用requests库发送GET请求非常简单。下面是一个发送GET请求并获取响应内容的示例代码：

import requests

url = 'https://www.example.com'
response = requests.get(url)

print(response.text)

上面的代码中，我们首先导入了requests库。然后定义了一个URL，并使用requests.get方法发送了一个GET请求。最后，通过response.text属性获取了响应的内容并打印出来。

发送POST请求

发送POST请求通常用于向服务器提交数据。同样，使用requests库发送POST请求也非常简单。下面是一个发送POST请求并获取响应内容的示例代码：

import requests

url = 'https://www.example.com/login'
data = {'username': 'admin', 'password': 'password'}
response = requests.post(url, data=data)

print(response.text)

上面的代码中，我们定义了一个URL和一个包含用户名和密码的字典。然后使用requests.post方法发送了一个POST请求并将数据传递给服务器。最后，通过response.text属性获取响应内容并打印出来。

请求参数

在发送请求时，可以通过查询字符串或请求体参数来传递参数。requests库提供了多种方式来传递参数。

查询字符串参数

查询字符串参数是通过URL的?后面添加的参数。使用params参数可以将查询字符串参数传递给requests.get方法。下面是一个发送带有查询字符串参数的GET请求的示例代码：

import requests

url = 'https://www.example.com/search'
params = {'keyword': 'python', 'page': 1}
response = requests.get(url, params=params)

print(response.url)  # 输出完整的URL
print(response.text)

上面的代码中，我们定义了一个URL和一个包含关键字和页面的字典。然后使用requests.get方法发送了一个带有查询字符串参数的GET请求。最后，通过response.url属性获取完整的URL并打印出来。

请求体参数

请求体参数是在请求的正文中传递的参数。使用data参数可以将请求体参数传递给requests.post方法。下面是一个发送带有请求体参数的POST请求的示例代码：

import requests

url = 'https://www.example.com/login'
data = {'username': 'admin', 'password': 'password'}
response = requests.post(url, data=data)

print(response.text)

上面的代码中，我们定义了一个URL和一个包含用户名和密码的字典。然后使用requests.post方法发送了一个带有请求体参数的POST请求。最后，通过response.text属性获取响应内容并打印出来。

JSON参数

在发送请求时，有时需要将参数以JSON格式传递给服务器。使用json参数可以将JSON参数传递给requests.post方法。下面是一个发送带有JSON参数的POST请求的示例代码：

import requests

url = 'https://www.example.com/api'
data = {'name': 'John', 'age': 30}
response = requests.post(url, json=data)

print(response.text)

上面的代码中，我们定义了一个URL和一个包含姓名和年龄的字典。然后使用requests.post方法发送了一个带有JSON参数的POST请求。最后，通过response.text属性获取响应内容并打印出来。

请求Headers

在发送请求时，可以设置请求的Headers参数。requests库提供了多种方式来设置请求的Headers参数。

设置请求头部

可以使用headers参数来设置请求的Headers参数。下面是一个设置请求头部的示例代码：

import requests

url = 'https://www.example.com'
headers = {'User-Agent': 'Mozilla/5.0'}
response = requests.get(url, headers=headers)

print(response.text)

上面的代码中，我们首先定义了一个URL和一个包含User-Agent的字典。然后使用requests.get方法发送了一个带有请求头部的GET请求。最后，通过response.text属性获取响应内容并打印出来。

自动设置Referer头部

可以使用Referer参数来设置Referer头部。下面是一个自动设置Referer头部的示例代码：

import requests

url = 'https://www.example.com'
referer = 'https://www.google.com'
response = requests.get(url, headers={'Referer': referer})

print(response.text)

上面的代码中，我们定义了一个URL和一个Referer。然后使用requests.get方法发送了一个带有Referer头部的GET请求。最后，通过response.text属性获取响应内容并打印出来。

处理响应

在发送请求后，需要处理响应的状态码、Headers和内容等信息。requests库提供了多种方式来处理响应。

响应状态码

可以使用status_code属性来获取响应的状态码。下面是一个获取响应状态码的示例代码：

import requests

url = 'https://www.example.com'
response = requests.get(url)

print(response.status_code)

上面的代码中，我们定义了一个URL并使用requests.get方法发送了一个GET请求。然后通过response.status_code属性获取响应的状态码并打印出来。

响应Headers

可以使用headers属性来获取响应的Headers。下面是一个获取响应Headers的示例代码：

import requests

url = 'https://www.example.com'
response = requests.get(url)

print(response.headers)
print(response.headers['Content-Type'])

上面的代码中，我们定义了一个URL并使用requests.get方法发送了一个GET请求。然后通过response.headers属性获取响应的Headers并打印出来。其中，response.headers['Content-Type']可以获取Headers中的Content-Type字段。

响应内容

可以使用text属性来获取响应的内容。下面是一个获取响应内容的示例代码：

import requests

url = 'https://www.example.com'
response = requests.get(url)

print(response.text)

上面的代码中，我们定义了一个URL并使用requests.get方法发送了一个GET请求。然后通过response.text属性获取响应的内容并打印出来。

响应编码

可以使用encoding属性来获取响应的编码格式。下面是一个获取响应编码的示例代码：

import requests

url = 'https://www.example.com'
response = requests.get(url)

print(response.encoding)

上面的代码中，我们定义了一个URL并使用requests.get方法发送了一个GET请求。然后通过response.encoding属性获取响应的编码格式并打印出来。

响应JSON数据

如果响应的内容是JSON数据，可以使用json()方法将其解析成Python对象。下面是一个获取响应JSON数据的示例代码：

import requests

url = 'https://www.example.com/api'
response = requests.get(url)

data = response.json()
print(data['name'])

上面的代码中，我们定义了一个URL并使用requests.get方法发送了一个GET请求。然后通过response.json()方法将响应的JSON数据解析成Python对象，并获取其中的字段数据并打印出来。

Session会话

requests库提供了Session对象，用于在多个请求之间保持会话。Session会话可以帮助我们保持用户登录状态、传递Cookies等操作。

使用Session会话的优势有：

在同一个Session会话中，可以共享Cookies和其他参数。
Session会话可以将多个请求绑定在一起，以便在发送请求时共享某些参数（如Headers、Cookies等）。
使用Session会话可以提高请求性能，减少资源的浪费。

下面是一个使用Session会话的示例代码：

import requests

url = 'https://www.example.com/login'
login_data = {'username': 'admin', 'password': 'password'}

with requests.Session() as session:
    session.post(url, data=login_data)  # 登录
    response1 = session.get('https://www.example.com/page1')  # 请求页面1
    response2 = session.get('https://www.example.com/page2')  # 请求页面2

print(response1.text)
print(response2.text)

上面的代码中，我们首先定义了一个登录URL和一个登录参数。然后使用requests.Session()创建了一个Session会话，并在该会话中发送了一个POST请求进行登录操作。然后，在同一个Session会话中连续发送了两个GET请求以获取页面内容。最后，通过response1.text和response2.text分别获取页面1和页面2的内容并打印出来。

文件上传和下载

requests库提供了方便的方法来上传文件和下载文件。

文件上传

可以使用files参数来上传文件。下面是一个上传文件的示例代码：

import requests

url = 'https://www.example.com/upload'
file = {'file': open('myfile.txt', 'rb')}
response = requests.post(url, files=file)

print(response.text)

上面的代码中，我们定义了一个上传URL和一个包含打开文件的字典。然后使用requests.post方法发送了一个POST请求，并将文件作为files参数传递给服务器。最后，通过response.text属性获取响应内容并打印出来。

文件下载

可以使用stream=True参数来下载文件。下面是一个下载文件的示例代码：

import requests

url = 'https://www.example.com/download'
response = requests.get(url, stream=True)

with open('downloaded_file.txt', 'wb') as file:
    for chunk in response.iter_content(chunk_size=1024):
        file.write(chunk)

print('文件已下载')

上面的代码中，我们定义了一个下载URL并使用requests.get方法发送了一个GET请求，并设置stream=True参数以便流式下载文件。然后通过文件对象的write()方法将响应的内容逐块写入到文件中。最后，打印出下载完成的提示信息。

处理重定向和HTTPS请求

requests库可以自动处理重定向和HTTPS请求，无需额外设置。下面是一个处理重定向和HTTPS请求的示例代码：

import requests

url = 'http://www.example.com'  # 重定向URL
response = requests.get(url)

print(response.url)  # 输出重定向后的URL
print(response.history)  # 输出重定向的历史记录
print(response.text)

上面的代码中，我们定义了一个重定向URL并使用requests.get方法发送了一个GET请求。然后通过response.url属性获取重定向后的URL，并通过response.history属性获取重定向的历史记录。最后，通过response.text属性获取响应内容并打印出来。