MySQL 将CSV文件导入MySQL

阅读更多：MySQL 教程

介绍

MySQL是一种常用的关系型数据库管理系统，它被广泛应用于各个领域。MySQL具有高效、可靠、扩展性强等优点。在使用MySQL时，我们常常需要将大量的数据存储到MySQL中。CSV（Comma-Separated Values）文件是一种常用的数据格式，它使用逗号作为分隔符，将数据存储在文本文件中。本文将介绍如何将CSV文件导入到MySQL数据库中。

准备工作

在开始将CSV文件导入MySQL之前，我们需要进行一些准备工作：

安装MySQL工具

我们需要在本地计算机上安装MySQL数据库，以便我们可以使用MySQL的命令行工具mysql和MySQL等工具。如果您还没有安装MySQL，请参考官方文档进行安装。

准备CSV文件

我们需要准备一份包含数据的CSV文件，以便将数据导入到MySQL数据库中。在准备CSV文件时，请注意以下几点：

CSV文件的第一行应该是列名，每个列名之间使用逗号分隔。
每个数据行的数据应该和列名一一对应，每个数据项之间也使用逗号分隔。
所有数据项都应该使用文本格式保存。
如果一个数据项包含了逗号，应该使用双引号将该项的内容包裹起来。
如果一个数据项本身就包含双引号，应该使用两个双引号进行转义。

下面是一份示例CSV文件的内容：

"ID","Name","Age","Gender","Salary","Department"
"1001","Tom",23,"Male",5000.00,"Research"
"1002","Jerry",25,"Male",5500.00,"Development"
"1003","Lisa",24,"Female",4800.00,"Sales"
"1004","Alice",26,"Female",6000.00,"Marketing"

导入CSV文件

在准备好CSV文件后，我们就可以将数据导入到MySQL数据库中。MySQL提供了LOAD DATA INFILE语句来完成这个任务。

LOAD DATA INFILE语句将CSV文件中的数据导入到指定的MySQL表中。下面是LOAD DATA INFILE语句的基本语法：

LOAD DATA INFILE 'filename.csv' INTO TABLE tablename FIELDS TERMINATED BY ',' (column1, column2, column3, ...) ;

filename.csv：CSV文件的路径和文件名。
tablename：要导入数据的MySQL表名。
FIELDS TERMINATED BY ','：CSV文件中的列分隔符。
(column1, column2, column3, ...)：MySQL表中要导入数据的列名列表。如果CSV文件中列名和MySQL表中列名不完全匹配，则可以使用类似以下的语法来指定对应关系：

(column1, column2, column3, ...)
SET column1 = value1, column2 = value2, column3 = value3, ...

下面是一个简单的例子。假设我们已经有了一个名为employees的MySQL表，并且我们想要将上面的示例CSV文件导入到该表中。我们可以使用以下命令：

LOAD DATA INFILE '/path/to/employees.csv' INTO TABLE employees FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' IGNORE 1 LINES;

在执行这个命令之后，MySQL将会将employees.csv文件中的数据导入到employees表中。其中：

LINES TERMINATED BY '\n'：CSV文件中的行分隔符。
IGNORE 1 LINES：忽略CSV文件的第一行，也就是列名行。

导入大量数据

当CSV文件包含大量的数据时，我们可能需要优化导入过程以提高数据导入速度。以下是一些常用的优化方法：

1. 禁用外键约束

在MySQL中，外键约束是用于保证表之间数据一致性的重要工具。但是，在导入大量数据时，启用外键约束可能会导致数据导入速度变慢。因此，我们可以在导入数据之前禁用外键约束，在数据导入完成之后再启用它。

ALTER TABLE table_name DISABLE KEYS;
LOAD DATA INFILE 'filename.csv' INTO TABLE table_name FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' IGNORE 1 LINES;
ALTER TABLE table_name ENABLE KEYS;

2. 使用本地文件

默认情况下，LOAD DATA INFILE语句将使用MySQL服务器上的文件。但是，在将CSV文件和MySQL服务器分布在不同的机器上时，使用本地文件可能更加高效。使用LOCAL关键字可以指示MySQL加载本地文件。

LOAD DATA LOCAL INFILE 'filename.csv' INTO TABLE table_name FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' IGNORE 1 LINES;

3. 调整缓存大小

在导入大量数据时，调整MySQL缓存大小可能是加速数据导入的关键。可以通过以下两个系统变量来调整缓存大小：

read_buffer_size：该变量指定在读取数据文件时使用的缓冲区大小。
max_allowed_packet：该变量指定MySQL可以接受的最大数据包大小。

SET GLOBAL read_buffer_size=xxx;
SET GLOBAL max_allowed_packet=xxx;

总结

将CSV文件导入到MySQL数据库中是MySQL常用的任务之一。使用LOAD DATA INFILE语句可以快速、高效地完成这个任务。在导入大量数据时，禁用外键约束、使用本地文件和调整缓存大小是加速数据导入的有效方法。在操作时，注意CSV文件的格式和MySQL表的结构是否匹配，以避免导入错误的数据。