MySQL 批量插入数据|极客教程

MySQL 批量插入数据

摘要

MySQL 是一种常用的关系型数据库管理系统，广泛应用于各种类型的应用程序中。在实际应用中，我们经常需要批量插入大量的数据到数据库中，本文将详细介绍使用 MySQL 实现批量插入数据的方法。

介绍

在开发过程中，我们通常使用数据库来存储和管理大量的数据。而对于大数据量的插入操作，一条一条地执行 SQL 插入语句是非常低效的。相比之下，批量插入数据可以大大提高插入的效率。

本文将以 MySQL 为例，介绍如何使用批量插入的方式将大量数据高效地插入到数据库中。

实现方法

要实现批量插入数据到 MySQL 数据库中，我们可以使用以下两种方法：

使用多值插入语句
使用 LOAD DATA INFILE 语句

下面将分别对这两种方法进行详细介绍。

1. 使用多值插入语句

多值插入语句是一种通过一条 INSERT INTO 语句同时插入多个值的方式。在执行多值插入时，我们可以将多个插入值用逗号分隔，每个插入值用括号括起来。

下面是一个使用多值插入语句插入两个数据的示例：

INSERT INTO table_name (column1, column2)
VALUES
    (value1_1, value2_1),
    (value1_2, value2_2);

在实际应用中，我们可以通过拼接 SQL 语句的方式一次性地插入大量的数据。下面是一个使用 Python 生成多值插入语句并执行的示例代码：

import mysql.connector

def batch_insert_data(data):
    # 连接到数据库
    conn = mysql.connector.connect(user='root', password='password', host='localhost', database='test')
    cursor = conn.cursor()

    # 生成插入语句
    sql = "INSERT INTO table_name (column1, column2) VALUES "
    values = []

    for item in data:
        values.append("('{}', '{}')".format(item['column1'], item['column2']))

    sql += ",".join(values)

    # 执行插入语句
    cursor.execute(sql)
    conn.commit()

    # 关闭数据库连接
    cursor.close()
    conn.close()

上述代码中，我们首先连接到数据库，然后生成一个插入语句，将需要插入的数据拼接成多值插入语句的形式，最后执行插入语句并提交事务。这样就可以实现批量插入数据的操作。

2. 使用 LOAD DATA INFILE 语句

LOAD DATA INFILE 语句是 MySQL 提供的一种高效的数据导入方式。使用该语句可以将一个包含大量数据的文件直接加载到数据库中。

使用 LOAD DATA INFILE 语句导入数据的前提是要先创建一个与文件内容对应的表结构。例如，如果文件中包含两列数据，那么我们需要先创建一个具有两列的表。

下面是一个使用 LOAD DATA INFILE 语句导入数据的示例：

CREATE TABLE table_name (column1 datatype1, column2 datatype2);

LOAD DATA INFILE 'data.txt'
INTO TABLE table_name
FIELDS TERMINATED BY '\t'
LINES TERMINATED BY '\n';

在上述示例中，我们首先创建了一个与文件内容对应的表结构，然后使用 LOAD DATA INFILE 语句将文件中的数据导入到表中。其中，data.txt 是包含数据的文件名，’\t’ 是字段分隔符，’\n’ 是行分隔符。

需要注意的是，使用 LOAD DATA INFILE 语句导入数据时，需要确保文件存在且数据库用户具有文件的读取权限。