Python与Oracle数据库批量插入|极客教程

Python与Oracle数据库批量插入

在实际的数据处理中，我们经常会遇到需要将大量数据批量插入到Oracle数据库中的情况。而Python作为一种强大的数据处理语言，结合Oracle数据库的操作，可以实现高效的批量插入操作。本文将详细介绍如何使用Python与Oracle数据库进行批量插入操作。

准备工作

在开始之前，我们需要安装Python的Oracle连接库cx_Oracle，可以使用以下命令进行安装：

pip install cx_Oracle

另外，我们还需要安装Oracle数据库，并创建一个表用于存储即将插入的数据。在本文示例中，我们创建一个名为test_table的表，包括两个字段id和name，可以使用以下SQL语句来创建该表：

CREATE TABLE test_table (
    id NUMBER,
    name VARCHAR2(50)
);

使用Python实现批量插入

接下来我们将使用Python来连接Oracle数据库，并实现批量插入操作。下面是一个示例代码，演示了如何将多条数据批量插入到Oracle数据库的test_table表中：

import cx_Oracle

# 连接Oracle数据库
conn = cx_Oracle.connect('username/password@localhost/orcl')

# 获取游标
cursor = conn.cursor()

# 待插入的数据
data = [(1, 'geek-docs.com'),
        (2, 'geek-docs.com'),
        (3, 'geek-docs.com')]

# 执行批量插入操作
cursor.executemany("INSERT INTO test_table(id, name) VALUES (:1, :2)", data)

# 提交事务
conn.commit()

# 关闭游标和连接
cursor.close()
conn.close()

以上示例代码中，首先使用cx_Oracle库连接到Oracle数据库，然后创建一个游标，指定待插入的数据，并使用executemany函数执行批量插入操作。最后提交事务、关闭游标和连接。

示例代码运行结果

运行以上示例代码后，我们可以查询test_table表来查看插入的数据：

SELECT * FROM test_table;

查询结果如下：

ID   |   NAME
-----------------
1    |   geek-docs.com
2    |   geek-docs.com
3    |   geek-docs.com

可以看到，成功将多条数据批量插入到了Oracle数据库中。

批量插入优化

在实际应用中，处理大规模数据时需要进行批量插入优化，以提高插入效率。下面介绍两种优化方法：

使用`executemany`函数

executemany函数可以批量执行SQL语句，替代循环逐条执行插入操作，能够大幅提高插入效率。

# 待插入的数据
data = [(4, 'geek-docs.com'),
        (5, 'geek-docs.com'),
        (6, 'geek-docs.com')]

# 执行批量插入操作
cursor.executemany("INSERT INTO test_table(id, name) VALUES (:1, :2)", data)

使用`executemany`批量提交数据

在处理大规模数据时，可以自定义一个批量提交大小，根据需要将数据分批提交到数据库，避免一次性提交过多数据导致内存溢出。

# 待插入的数据
data = [(7, 'geek-docs.com'),
        (8, 'geek-docs.com'),
        (9, 'geek-docs.com')]

batch_size = 2
while data:
    batch_data = data[:batch_size]
    cursor.executemany("INSERT INTO test_table(id, name) VALUES (:1, :2)", batch_data)
    conn.commit()
    data = data[batch_size:]