Python 设置代理

1. 什么是代理？

在计算机网络中，代理是一个充当其他设备（客户端、服务器）中间人的服务器。它充当客户端和目标服务器之间的中转。当客户端想要访问目标服务器发送请求时，会先将请求发送到代理服务器，然后由代理服务器发送请求到目标服务器，并将目标服务器返回的响应再发送给客户端。代理服务器可以拦截和修改请求和响应，从而实现一些特定的功能，如安全验证、缓存、过滤等。

2. 为什么需要使用代理？

使用代理服务器有以下几个主要原因：

2.1 访问限制

有些网站或服务可能会限制特定的IP地址或地区访问，使用代理可以绕过这些限制。例如，某些视频流媒体服务只允许特定地区的用户访问，这时可以通过使用代理服务器来模拟在该地区的访问。

2.2 隐私保护

使用代理可以隐藏用户的真实IP地址，提高隐私保护。代理服务器会将用户的请求转发到目标服务器，并将目标服务器返回的响应转发给用户，目标服务器无法直接获取到用户的真实IP地址。

2.3 增加访问速度

代理服务器可以缓存请求和响应，从而提高访问速度。当多个用户访问相同的资源时，代理服务器可以直接返回已经缓存的响应，减轻目标服务器的负担，节省带宽。

2.4 数据过滤与安全

代理服务器可以对请求和响应进行过滤，过滤出一些不符合规范或威胁安全的内容。例如，一些企业或学校会使用代理服务器来过滤恶意网站、限制非法内容的访问。

3. Python 设置代理

Python提供了多种库和方法来设置代理。下面介绍几种常用的方法：

3.1 使用urllib库设置代理

urllib是Python内置的一个标准库，提供了发送HTTP请求的功能。可以使用urllib库中的ProxyHandler类来设置代理。

import urllib.request

def set_proxy(url, proxy):
    opener = urllib.request.build_opener(urllib.request.ProxyHandler(proxy))
    opener.open(url)
    urllib.request.install_opener(opener)

以上代码中，url代表要访问的目标URL，proxy是一个字典，包含代理服务器的相关信息，如下所示：

proxy = {
    'http': 'http://127.0.0.1:8080',
    'https': 'http://127.0.0.1:8080'
}

这里设置了http和https两种类型的代理，http代理用于HTTP请求，https代理用于HTTPS请求。将代理信息传递给ProxyHandler类的构造函数，然后使用build_opener方法创建一个自定义的Opener，并通过install_opener方法将其安装为全局Opener。

3.2 使用requests库设置代理

requests是一个广泛使用的第三方库，提供了更加便捷的HTTP请求方法。可以使用requests库中的proxies参数来设置代理。

import requests

def set_proxy(url, proxy):
    response = requests.get(url, proxies=proxy)

以上代码中，url代表要访问的目标URL，proxy是一个字典，包含代理服务器的相关信息，如下所示：

proxy = {
    'http': 'http://127.0.0.1:8080',
    'https': 'http://127.0.0.1:8080'
}

这里的proxies参数直接接收一个字典类型的代理信息，并将其传递给get方法。

3.3 使用selenium库设置代理

selenium是一个自动化测试工具，用于模拟浏览器行为。可以使用selenium库中的Proxy类来设置代理。

from selenium import webdriver

def set_proxy(url, proxy):
    options = webdriver.ChromeOptions()
    options.add_argument('--proxy-server={}'.format(proxy))
    driver = webdriver.Chrome(options=options)
    driver.get(url)

以上代码中，url代表要访问的目标URL，proxy是一个字符串，形如http://127.0.0.1:8080，表示代理服务器的地址。创建一个ChromeOptions对象，使用add_argument方法将代理信息添加到选项中，然后创建一个ChromeDriver，并传入选项。