MySQL 导入CSV数据 – 忽略某些CSV列

在数据处理过程中，经常需要将CSV数据导入MySQL数据库以进行后续分析。但是，在某些情况下，CSV文件可能包含一些无关的列，导致导入MySQL时出现错误或造成不必要的负担。在本文中，我们将介绍如何忽略CSV文件中的某些列，以便有效地将数据导入MySQL中。

阅读更多：MySQL 教程

1.忽略CSV文件中的某些列

在导入CSV文件之前，我们需要先建立一个目标表。我们可以使用以下SQL语句来创建一个名为employees的表。

CREATE TABLE employees (
id INT NOT NULL AUTO_INCREMENT,
first_name VARCHAR(50) NOT NULL,
last_name VARCHAR(50) NOT NULL,
date_of_birth DATE NULL,
salary INT NULL,
PRIMARY KEY (id)
);

在上面的SQL语句中，我们创建了一个包含id、first_name、last_name、date_of_birth和salary列的表。接下来，我们需要从CSV文件中导入数据。我们可以使用以下SQL语句导入CSV文件：

LOAD DATA INFILE '/path/to/csv/file.csv'
INTO TABLE employees
FIELDS TERMINATED BY ','
IGNORE 1 LINES
(id, first_name, last_name, @var1, salary)
SET date_of_birth = STR_TO_DATE(@var1, '%m/%d/%Y');

在上面的SQL语句中，我们使用LOAD DATA INFILE命令从CSV文件中导入数据。我们指定CSV文件的路径，并将数据加载到employees表中。在FIELDS TERMINATED BY子句中，我们指定数据在CSV文件中按逗号分隔。在IGNORE 1 LINES子句中，我们指定忽略CSV文件的第一行，因为它通常是标题行。在(id, first_name, last_name, @var1, salary)子句中，我们列出要导入的列，其中@var1是一个用户定义的变量。最后，我们使用SET命令将date_of_birth列转换为日期格式，并将值分配给用户定义的变量@var1。

在上面的SQL语句中，我们忽略了CSV文件中名为date_of_birth的列，因为它包含了不符合MySQL日期格式的数据。通过将数据加载到一个用户定义的变量中，我们可以将它转换为MySQL日期格式，并将其存储在MySQL表中。

2.忽略CSV文件中的多个列

在某些情况下，CSV文件可能包含多个不必要的列。为了避免将这些列一一列出，我们可以在导入CSV文件时使用IGNORE命令来忽略它们。下面的SQL语句演示了如何忽略多个CSV列：

LOAD DATA INFILE '/path/to/csv/file.csv'
INTO TABLE employees
FIELDS TERMINATED BY ','
IGNORE 1 LINES
(@var1, first_name, last_name, @var2, salary)
SET date_of_birth = STR_TO_DATE(@var1,'%m/%d/%Y'), employment_date = STR_TO_DATE(@var2,'%m/%d/%Y');

在上面的SQL语句中，我们仍然忽略了CSV文件中的date_of_birth列。但是，我们还忽略了CSV文件中的employee_number列，并在MySQL表中添加了一个新的employment_date列。在(var1, first_name, last_name, var2, salary)子句中，我们列出了要导入的列，其中var1和var2是用户定义的变量，它们将CSV文件中的数据转换为MySQL日期格式。

总结

通过忽略CSV文件中的某些列，我们可以轻松地将数据导入MySQL表中。通过使用LOAD DATA INFILE命令和用户定义的变量，我们可以将CSV文件中的数据转换为适用于MySQL的格式，并将其导入MySQL表中。我们可以使用单个或多个IGNORE命令来忽略不必要的列，并在加载数据时将数据加载到用户定义的变量中进行转换。这样，我们可以有效地将数据导入MySQL，并避免造成不必要的负担和错误。如果您在将CSV数据导入MySQL中遇到问题，请尝试使用本文中介绍的技术来解决它们。