Python Requests Proxy详解

1. 介绍

Python中有许多第三方库可以用于处理HTTP请求，其中最常用且功能强大的就是requests库。requests库提供了简洁而方便的API，用于发送HTTP请求，处理响应等。

在实际应用中，有时候我们需要通过代理服务器发送请求，以隐藏自己的真实IP地址或者绕过某些限制。requests库也提供了很好的支持来处理代理请求。本文将详细介绍如何使用requests库来发送代理请求。

2. 什么是代理服务器

在介绍如何使用代理之前，我们先来了解一下什么是代理服务器。代理服务器充当客户端与目标服务器之间的中间人，它接收客户端的请求并将其转发给目标服务器，同时将目标服务器的响应返回给客户端。代理服务器可用于不同的目的，例如提供缓存、安全性、匿名性等。

3. 如何使用代理请求

3.1 使用全局代理

requests库允许我们在全局范围内设置代理，这意味着我们只需要设置一次，即可在后续的所有请求中使用该代理。下面是使用全局代理的示例代码：

import requests

proxies = {
  "http": "http://127.0.0.1:8080",  # HTTP代理
  "https": "http://127.0.0.1:8080",  # HTTPS代理
}

# 设置全局代理
requests.proxies = proxies

# 发送请求
response = requests.get("https://www.example.com")
print(response.text)

在上面的代码中，我们将代理服务器的地址和端口号分别设置为http://127.0.0.1:8080。然后，我们将该代理设置为全局代理，之后发送的所有请求都会通过该代理服务器发送。

3.2 请求级别的代理

除了全局代理，requests库还允许我们在每个请求中使用不同的代理。这意味着我们可以为每个请求自定义代理设置。下面是使用请求级别代理的示例代码：

import requests

proxies = {
  "http": "http://127.0.0.1:8080",  # HTTP代理
  "https": "http://127.0.0.1:8080",  # HTTPS代理
}

# 发送请求时指定代理
response = requests.get("https://www.example.com", proxies=proxies)
print(response.text)

在上面的代码中，我们在发送请求时将proxies参数传递给get方法，其中proxies是一个字典，包含HTTP和HTTPS代理的地址和端口号。

3.3 针对特定协议的代理

有时候我们可能只需要为特定协议（例如HTTP或HTTPS）设置代理。requests库允许我们为不同的协议设置不同的代理。下面是一个示例代码：

import requests

http_proxy = "http://127.0.0.1:8080"
https_proxy = "http://127.0.0.1:8080"

# 为特定协议设置代理
proxies = {
  "http": http_proxy,
  "https": https_proxy,
}

# 发送请求
response = requests.get("https://www.example.com", proxies=proxies)
print(response.text)

在上面的代码中，我们为HTTP和HTTPS分别设置了不同的代理。这意味着对于HTTP请求，会使用http_proxy代理发送请求，而对于HTTPS请求，会使用https_proxy代理发送请求。

3.4 代理验证

在实际应用中，代理服务器可能需要验证。如果代理服务器要求进行身份验证，我们可以在代理字典中添加username和password字段以提供验证信息。示例代码如下：

import requests

proxy_with_auth = {
    "http": "http://username:password@127.0.0.1:8080",
    "https": "http://username:password@127.0.0.1:8080",
}

# 发送请求
response = requests.get("https://www.example.com", proxies=proxy_with_auth)
print(response.text)

在上面的代码中，我们在代理地址中添加了用户名和密码，以便进行代理验证。

4. 使用HTTP代理池

有时候我们可能需要使用多个代理服务器，以保证请求的稳定性和可用性。在这种情况下，我们可以使用代理池来管理多个代理服务器。

import requests
from urllib3.util.retry import Retry
from requests.adapters import HTTPAdapter

proxy_pool = [
    "http://proxy1.example.com:8080",
    "http://proxy2.example.com:8080",
    "http://proxy3.example.com:8080",
    # 添加更多代理服务器...
]

session = requests.Session()
retries = Retry(total=5, backoff_factor=0.1, status_forcelist=[500, 502, 503, 504])
session.mount("http://", HTTPAdapter(max_retries=retries))

# 发送请求时会使用代理池中的代理
response = session.get("https://www.example.com", proxies=proxy_pool)
print(response.text)

在上面的代码中，我们使用了requests.Session来创建一个会话，然后使用urllib3.util.retry.Retry和requests.adapters.HTTPAdapter来配置重试策略。最后，我们通过为session.get方法提供proxies参数，指定了一个代理池。每次发送请求时，都会从代理池中随机选择一个代理。

5. 总结

本文介绍了如何使用requests库来发送代理请求。我们学习了如何设置全局代理，如何为每个请求设置代理，以及如何针对特定协议设置代理。此外，我们还了解了如何在代理服务器要求身份验证的情况下进行验证，并介绍了如何使用代理池来管理多个代理服务器。通过掌握这些知识，我们能够更好地利用requests库的功能，实现更强大的代理请求。