Python 如何给 urllib2 opener 添加一个 header

在本文中，我们将介绍如何使用 Python 的 urllib2 库给 opener 添加一个 header。urllib2 是一个可以用来发送 HTTP 请求的模块，它可以方便地实现从网页抓取数据、发送 POST 请求等功能。opener 是 urllib2 中的一个对象，它可以帮助我们设置一些额外的参数和处理请求的方式。

阅读更多：Python 教程

urllib2 概述

在开始讲解如何给 urllib2 opener 添加 header 之前，我们先简要介绍一下 urllib2 模块的基本使用。

首先，我们需要导入 urllib2 模块：

import urllib2

然后，我们可以使用 urllib2.urlopen() 方法打开一个 URL，并获取到相应的内容：

response = urllib2.urlopen('http://example.com')
html = response.read()

除了打开网页，urllib2 还支持发送 POST 请求，我们可以使用 urllib2.Request() 方法来构建请求，并使用 urllib2.urlopen() 方法来发送请求：

import urllib2

url = 'http://example.com'
data = 'key1=value1&key2=value2'
req = urllib2.Request(url, data)
response = urllib2.urlopen(req)
html = response.read()

通过以上基本用法，我们可以实现常见的 HTTP 请求操作。

给 urllib2 opener 添加 header

在某些情况下，我们需要在发送请求时添加一些额外的 header，比如 User-Agent、Referer 等。这时候，我们可以通过创建一个自定义的 opener 并添加 header 来实现。

首先，我们需要导入 urllib2 和 urllib 模块：

import urllib2
import urllib

然后，我们可以使用 urllib2.build_opener() 方法创建一个自定义的 opener：

opener = urllib2.build_opener()

接下来，我们需要创建一个包含 header 信息的 Request 对象，并将其添加到 opener 中：

url = 'http://example.com'
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
req = urllib2.Request(url, headers=header)
opener.addheaders = header.items()

在上述代码中，我们在 header 中添加了一个 User-Agent，这将模拟使用 Chrome 浏览器发送请求。

最后，我们可以使用 opener 打开 URL，并获取到相应的内容：

response = opener.open(req)
html = response.read()

示例

下面我们来看一个实际的示例，假设我们需要使用 urllib2 给一个访问博客网站的请求添加 User-Agent 和 Referer。

首先，我们需要导入 urllib2 模块：

import urllib2

然后，我们使用 urllib2.build_opener() 方法创建一个自定义的 opener，并添加 User-Agent 和 Referer。

opener = urllib2.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/5.0'), ('Referer', 'http://www.example.com')]

接下来，我们可以使用 opener 打开 URL，并获取到相应的内容：

response = opener.open('http://example.com')
html = response.read()

通过以上示例，我们成功给 urllib2 的 opener 添加了 User-Agent 和 Referer。

总结

在本文中，我们介绍了如何给 urllib2 的 opener 添加 header。通过创建一个自定义的 opener，并在其中添加 header 信息，我们可以方便地模拟浏览器发送请求。这是一个非常有用的技巧，可以帮助我们更好地控制请求的行为和结果。希望本文对你有所帮助。