SQLite 高效插入多行数据时处理重复条目的方法

在本文中，我们将介绍如何在使用SQLAlchemy/SQLite3时，高效地插入多行数据，并处理存在重复条目的情况。

背景

SQLite是一款轻量级的嵌入式数据库引擎，常用于移动设备和小型应用中。在某些场景下，我们需要一次性插入大量数据到SQLite数据库中，同时需要处理可能存在的重复项。

重复项指的是在数据库中已存在相同的主键（或唯一索引）的记录，而我们希望在插入新数据时，能够自动忽略这些重复的记录。

使用SQLAlchemy进行高效插入

SQLAlchemy是一款强大的Python数据库工具包，它提供了一系列的ORM（对象关系映射）功能，可以简化数据库操作。下面我们将介绍如何使用SQLAlchemy进行高效插入。

首先，我们需要安装SQLAlchemy库：

pip install sqlalchemy

然后，我们可以使用以下代码来创建一个SQLite数据库，并插入多行数据：

from sqlalchemy import create_engine, Column, Integer, String
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker

# 创建数据库引擎
engine = create_engine('sqlite:///data.db', echo=True)

# 创建会话
Session = sessionmaker(bind=engine)
session = Session()

Base = declarative_base()

# 定义数据模型
class User(Base):
    __tablename__ = 'users'
    id = Column(Integer, primary_key=True)
    name = Column(String)

# 创建数据表
Base.metadata.create_all(engine)

# 定义插入的数据
data = [
    {'id': 1, 'name': 'Alice'},
    {'id': 2, 'name': 'Bob'},
    {'id': 3, 'name': 'Alice'}
]

# 使用SQLAlchemy进行高效插入
session.execute(User.__table__.insert().prefix_with("OR IGNORE"), data)

# 提交事务
session.commit()

上述代码中，我们首先创建了一个SQLite数据库引擎，然后定义了一个User类作为数据模型，使用declarative_base()创建了基类Base。

接着，我们创建了一个数据表users，并定义了插入的数据。

在使用session.execute()插入数据时，我们使用了.prefix_with("OR IGNORE")来告诉SQLite在插入时忽略重复的记录。这样，即使data中有两个相同的name为’Alice’的记录，也能够成功地插入。

最后，我们需要调用session.commit()提交事务，将数据真正地插入到数据库中。

使用SQLite3进行高效插入

除了使用SQLAlchemy外，我们还可以直接使用SQLite3来实现高效的插入。SQLite3是Python标准库中的一个模块，我们可以直接使用它来操作SQLite数据库。

以下是使用SQLite3进行高效插入的示例代码：

import sqlite3

# 创建数据库连接
conn = sqlite3.connect('data.db')
cursor = conn.cursor()

# 创建数据表
cursor.execute("CREATE TABLE IF NOT EXISTS users (id INTEGER PRIMARY KEY, name TEXT)")

# 定义插入的数据
data = [
    (1, 'Alice'),
    (2, 'Bob'),
    (3, 'Alice')
]

# 使用INSERT OR IGNORE语句插入数据
cursor.executemany("INSERT OR IGNORE INTO users (id, name) VALUES (?, ?)", data)

# 提交事务
conn.commit()

# 关闭数据库连接
conn.close()