Python 请求URL|极客教程

Python 请求URL

在日常的开发工作中，经常会涉及到与其他网站或服务进行数据交互的需求。其中，向指定的URL发送请求并获取数据是比较常见的操作之一。本文将详细介绍如何使用Python发送HTTP请求获取数据。

使用requests库发送GET请求

在Python中，可以使用第三方库requests来发送HTTP请求。下面是一个简单的示例，演示如何使用requests库发送一个GET请求并获取数据。

import requests

url = 'https://jsonplaceholder.typicode.com/posts/1'
response = requests.get(url)

print(response.json())

运行上述代码，将会发送一个GET请求到指定的URL（https://jsonplaceholder.typicode.com/posts/1），并打印出获取到的数据。

使用requests库发送POST请求

除了GET请求外，我们还经常需要发送POST请求来向服务器提交数据。下面是一个简单的示例，演示如何使用requests库发送一个POST请求并获取数据。

import requests

url = 'https://jsonplaceholder.typicode.com/posts'
data = {
    'title': 'foo',
    'body': 'bar',
    'userId': 1
}

response = requests.post(url, json=data)

print(response.json())

运行上述代码，将会发送一个POST请求到指定的URL（https://jsonplaceholder.typicode.com/posts），并打印出获取到的数据。

处理HTTP响应

无论是发送GET请求还是POST请求，我们都会收到一个HTTP响应。通过response对象，我们可以获取到响应的状态码、头部信息以及响应体。

import requests

url = 'https://jsonplaceholder.typicode.com/posts/1'
response = requests.get(url)

print(response.status_code)
print(response.headers)
print(response.text)

运行上述代码，将会打印出响应的状态码、头部信息以及响应体。通过这些信息，我们可以进一步处理返回的数据。

处理异常

在实际开发中，网络请求可能会出现各种异常。为了保证稳定性和健壮性，我们应该对可能出现的异常进行适当处理。

import requests

url = 'https://jsonplaceholder.typicode.com/posts/1000'

try:
    response = requests.get(url)
    response.raise_for_status()
except requests.exceptions.HTTPError as errh:
    print("HTTP error:", errh)
except requests.exceptions.ConnectionError as errc:
    print("Error connecting:", errc)
except requests.exceptions.Timeout as errt:
    print("Timeout error:", errt)
except requests.exceptions.RequestException as err:
    print("Other error:", err)

上述代码中，我们使用try...except语句来捕获可能出现的异常，包括HTTPError、ConnectionError、Timeout等。通过合理的异常处理，可以更好地保证程序的稳定性。

设置请求头部

在发送HTTP请求时，有时需要设置一些自定义的请求头部信息。通过requests库，我们可以轻松设置请求头部。

import requests

url = 'https://jsonplaceholder.typicode.com/posts/1'
headers = {
    'User-Agent': 'Mozilla/5.0'
}

response = requests.get(url, headers=headers)

print(response.text)

上述代码中，我们设置了User-Agent请求头部信息，发送请求时会携带该信息。这在模拟某些特定环境或规避某些限制时非常有用。

使用代理

有些情况下，我们需要通过代理服务器发送HTTP请求。requests库也提供了相关的功能来支持代理。

import requests

url = 'https://jsonplaceholder.typicode.com/posts/1'
proxies = {
    'http': 'http://user:password@proxy:port',
    'https': 'https://user:password@proxy:port'
}

response = requests.get(url, proxies=proxies)

print(response.text)