Python urllib2.urlopen()方法详解

在Python中，我们经常需要使用网络来访问和获取数据。为了方便进行HTTP请求和处理返回的响应，Python标准库中提供了urllib2模块。

urllib2库是Python2中用于操作URL的模块，而在Python3中，它已被合并到urllib模块中。

本文将详细介绍urllib2.urlopen()方法，并提供一些示例代码来演示它的使用。

1. urllib2.urlopen()方法概述

Python的urllib2模块中的urlopen()方法是用于打开URL的函数。它可以接受一个URL作为参数，然后返回一个类似文件对象的Response对象，我们可以通过该对象读取返回的数据。

urlopen()方法的基本语法如下：

urllib2.urlopen(url, data=None, timeout=socket._GLOBAL_DEFAULT_TIMEOUT, cafile=None, capath=None, cadefault=False, context=None)

其中，各个参数的含义如下：

url：要打开的URL地址。
data：可选参数，用于向服务器发送数据。
timeout：可选参数，用于设置超时时间（单位：秒）。
cafile：可选参数，用于指定CA证书文件。
capath：可选参数，用于指定CA证书路径。
cadefault：可选参数，用于指定是否使用默认的CA证书。
context：可选参数，用于指定SSL上下文。

2. 使用urlopen()方法发送GET请求

通过urlopen()方法，我们可以很方便地发送HTTP请求，其中最常见的就是GET请求。

下面是一个使用urlopen()方法发送GET请求并打印返回结果的示例代码：

import urllib2

response = urllib2.urlopen('http://www.example.com/')
result = response.read()

print(result)

执行上述代码后，你将能够获得http://www.example.com/网页的源代码，并打印在控制台上。

3. 使用urlopen()方法发送POST请求

除了发送GET请求，urlopen()方法还可以用于发送POST请求。我们可以通过data参数向服务器发送一些数据。

下面是一个使用urlopen()方法发送POST请求并打印返回结果的示例代码：

import urllib2
import urllib

data = urllib.urlencode({'key1': 'value1', 'key2': 'value2'})
request = urllib2.Request('http://www.example.com/', data)
response = urllib2.urlopen(request)
result = response.read()

print(result)

在上述例子中，我们通过urllib.urlencode()方法将字典类型的数据转换为URL编码的格式，然后传递给Request对象的data参数。

4. 设置超时时间

在实际开发中，有时我们需要设置超时时间，以防止请求时间过长而造成程序的阻塞。

urlopen()方法的timeout参数可以用来设置超时时间，单位为秒。

下面是一个使用timeout参数设置超时时间的示例代码：

import urllib2

try:
    response = urllib2.urlopen('http://www.example.com/', timeout=3)
    result = response.read()
    print(result)
except urllib2.URLError as e:
    print(e)

在上述代码中，我们将超时时间设置为3秒。如果请求时间超过3秒，将会抛出urllib2.URLError异常。

5. 错误处理与异常捕获

在使用urlopen()方法时，我们需要考虑到可能会出现的一些错误和异常，并进行相应的处理。

urlopen()方法可能会抛出以下几种异常：

urllib2.URLError：表示URL打开发生错误。
HTTPError：表示HTTP错误的子类。
URLError：urllib2.URLError的子类。

下面是一个使用try-except代码块捕获异常的示例代码：

import urllib2

try:
    response = urllib2.urlopen('http://www.example.com/')
    result = response.read()
    print(result)
except urllib2.URLError as e:
    print(e)

在上述代码中，我们使用了try-except代码块来捕获urllib2.URLError异常，并在发生异常时打印错误信息。

6. HTTPS请求与SSL证书验证

urlopen()方法也可以用于发送HTTPS请求，并且默认会验证SSL证书。

如果需要关闭SSL证书验证，可以将context参数设置为ssl._create_unverified_context()。

下面是一个使用urlopen()方法发送HTTPS请求的示例代码：

import urllib2
import ssl

# 关闭SSL证书验证
context = ssl._create_unverified_context()

response = urllib2.urlopen('https://www.example.com/', context=context)
result = response.read()

print(result)