Python 如何避免HTTP错误429（请求过多）

在本文中，我们将介绍如何使用Python避免HTTP错误429（Too Many Requests）。HTTP错误429表示我们发送的请求过多，服务器无法处理，因此服务器返回此错误。我们可以采取一些策略来避免这种错误，例如设置请求头、使用代理、设置延迟时间等。

阅读更多：Python 教程

使用请求头

在发送HTTP请求时，我们可以设置请求头来模拟正常的浏览器行为，从而避免被服务器限制。常用的请求头字段有”User-Agent”、”Referer”和”Cookie”。

import requests

# 设置请求头
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3",
    "Referer": "https://www.example.com",
    "Cookie": "sessionid=123456789"
}

# 发送带有请求头的GET请求
response = requests.get("https://api.example.com", headers=headers)

# 处理响应
print(response.status_code)

通过设置合适的请求头，我们可以使请求看起来更像是来自正常的浏览器，从而避免被服务器限制。

使用代理

另一种避免HTTP错误429的方法是使用代理。代理服务器可以帮助我们隐藏真实IP地址和请求来源，使我们可以通过多个IP地址发送请求，从而分散请求压力。

import requests

# 设置代理
proxies = {
    "http": "http://127.0.0.1:8080",
    "https": "http://127.0.0.1:8080"
}

# 发送带有代理的GET请求
response = requests.get("https://api.example.com", proxies=proxies)

# 处理响应
print(response.status_code)

使用代理时，需要确保代理服务器的稳定性和安全性，并及时更换代理IP，以避免被服务器封禁。

设置延迟时间

通过设置延迟时间，我们可以使请求之间的时间间隔更长，从而降低发送请求的速度，避免被服务器限制。

import time
import requests

# 发送带有延迟时间的GET请求
def send_request_with_delay(url, delay):
    time.sleep(delay)
    response = requests.get(url)
    return response

# 发送多个带有延迟时间的GET请求
def send_requests_with_delay(urls, delay):
    responses = []
    for url in urls:
        response = send_request_with_delay(url, delay)
        responses.append(response.status_code)
    return responses

# 示例：发送3个带有延迟时间的GET请求
urls = [
    "https://api.example.com/1",
    "https://api.example.com/2",
    "https://api.example.com/3"
]
delay = 5  # 设置延迟时间为5秒
responses = send_requests_with_delay(urls, delay)

# 处理响应
for response in responses:
    print(response)