Python 多进程与多线程

1. 引言

在计算机编程中，进程和线程是两个重要的概念。进程是指运行中的程序实例，而线程是进程内的执行流，是进程的一部分。在 Python 中，我们可以使用多进程和多线程来实现并行计算和多任务处理。本文将详解 Python 中的多进程和多线程，并比较它们之间的差异。

2. 多进程

在单核处理器上，我们只能通过时间片轮转的方式实现并行计算。但在多核处理器上，可以同时运行多个进程，从而提高计算效率。Python 提供了 multiprocessing 模块来支持多进程编程。

2.1 创建进程

我们可以使用 multiprocessing 模块中的 Process 类来创建进程。以下是创建进程的示例代码：

from multiprocessing import Process

def square(num):
    result = num**2
    print(f"The square of {num} is {result}")

if __name__ == "__main__":
    p = Process(target=square, args=(5,))
    p.start()
    p.join()

上述代码中，首先我们定义了一个 square 函数用于计算一个数的平方。然后使用 Process 类创建了一个进程 p，并指定要执行的函数和参数。最后使用 start 方法启动进程，join 方法用于等待进程结束。

2.2 多进程池

在实际应用中，可能需要同时创建多个进程来执行一些任务。为了方便管理和复用进程，Python 提供了 multiprocessing 模块中的 Pool 类。

以下是使用进程池执行任务的示例代码：

from multiprocessing import Pool

def square(num):
    result = num**2
    return result

if __name__ == "__main__":
    nums = [1, 2, 3, 4, 5]
    with Pool(processes=3) as pool:
        results = pool.map(square, nums)
    print(results)

上述代码中，首先我们定义了一个 square 函数用于计算一个数的平方。然后创建了一个包含 3 个进程的进程池 pool。使用 map 方法可以将任务分发给进程池中的进程进行执行，并返回结果。最后输出所有结果。

3. 多线程

线程是进程的一部分，可以实现程序内的并发执行。Python 提供了 threading 模块来支持多线程编程。

3.1 创建线程

我们可以使用 threading 模块中的 Thread 类来创建线程。以下是创建线程的示例代码：

import threading

def square(num):
    result = num**2
    print(f"The square of {num} is {result}")

if __name__ == "__main__":
    t = threading.Thread(target=square, args=(5,))
    t.start()
    t.join()

上述代码中，首先我们定义了一个 square 函数用于计算一个数的平方。然后使用 Thread 类创建了一个线程 t，并指定要执行的函数和参数。最后使用 start 方法启动线程，join 方法用于等待线程结束。

3.2 多线程池

与多进程类似，为了方便管理和复用线程，Python 提供了 concurrent.futures 模块中的 ThreadPoolExecutor 类。

以下是使用线程池执行任务的示例代码：

from concurrent.futures import ThreadPoolExecutor

def square(num):
    result = num**2
    return result

if __name__ == "__main__":
    nums = [1, 2, 3, 4, 5]
    with ThreadPoolExecutor(max_workers=3) as executor:
        results = executor.map(square, nums)
    print(list(results))

上述代码中，首先我们定义了一个 square 函数用于计算一个数的平方。然后创建了一个最多包含 3 个线程的线程池 executor。使用 map 方法可以将任务分发给线程池中的线程进行执行，并返回结果。最后输出所有结果。