MySQL Python+MySQL – 批量插入

在使用Python连接MySQL数据库时，我们经常需要进行数据插入操作。如果只针对一条数据进行insert操作，可以使用MySQLdb提供的execute方法。而当我们需要批量插入大量数据时，使用循环insert语句的效率会非常低下。这时，我们可以借助MySQLdb提供的executemany方法，一次性提交多个数据行，从而实现批量插入数据，提高效率。

在本文中，我们将介绍使用executemany方法进行批量插入的详细步骤，并给出示例代码以便读者更好地理解。

阅读更多：MySQL 教程

连接数据库

在进行批量插入操作前，我们需要先连接到MySQL数据库。在Python中，最常用的MySQL数据库连接库是pymysql和MySQLdb。接下来以pymysql库为例进行介绍。

import pymysql

conn = pymysql.connect(host='localhost', port=3306, user='root', passwd='123456', db='test', charset='utf8')
cursor = conn.cursor()

首先，我们需要导入pymysql库，并使用connect方法连接到MySQL数据库。在连接方法中，我们需要指定数据库的信息，例如MySQL服务器的IP地址、端口号、用户名和密码等内容，同时还需要指定需要连接到的具体数据库。charset参数可指定数据库的字符集。

创建连接后，我们使用cursor方法创建游标对象，可以执行SQL语句、管理查询结果等操作。

批量插入

executemany方法的使用方法为：

cursor.executemany(sql, values)

其中，sql是待执行的SQL语句，values是一个元组或列表，每个元素代表一行数据的参数。在SQL语句中使用占位符（%s）来表示待插入的具体数值。

示例代码：

sql = "INSERT INTO user (username, age, gender) VALUES (%s, %s, %s)"
values = [
    ('xiaoming', 25, 'male'),
    ('xiaohong', 24, 'female'),
    ('xiaozhang', 27, 'male')
]

cursor.executemany(sql, values)

以上代码将向名为user的表中插入三行数据。注意，在实际项目中，我们往往需要从文件或其他数据源中导入大量数据，因此需要对数据进行预处理，并使用循环构造values参数。此时使用executemany方法能够很好地提高数据插入的效率。

提交事务和关闭连接

批量插入完成后，我们需要执行下面代码将所有的change提交到数据库。在操作大数据量时，由于每次插入都会占用一定的系统资源，因此批量插入操作可能非常耗时，在此过程中避免中断操作或长时间占用连接资源非常重要。

conn.commit()
conn.close()

以上代码将所有的change提交到数据库，并调用close方法关闭连接。

总结

本文介绍了使用executemany方法进行MySQL批量插入操作的具体步骤，包括连接数据库、构造插入数据、提交事务和关闭连接等操作。通过批量插入，我们能够在插入大量数据时提高效率，并保证在整个操作过程中的连接资源充分利用，同时能够避免操作中断和连接资源长时间占用的风险。希望本文能够对读者在实际项目中使用MySQL进行数据插入操作有所帮助。