MySQL 允许上传 CSV|极客笔记

MySQL 允许上传 CSV

在实际的数据处理工作中，经常会遇到需要将数据导入数据库的情况。MySQL 是一种常用的关系型数据库管理系统，支持导入 CSV 格式的数据。CSV（Comma-Separated Values）是一种常见的文本格式，用逗号或其他特定字符来分隔每个数据字段。

在本篇文章中，我们将详细探讨如何在 MySQL 中允许上传 CSV 文件，以及如何实现数据导入操作。

准备工作

在开始之前，首先需要确保已经安装了 MySQL 数据库，并且具有相应的权限来执行导入操作。另外，需要准备一个包含数据的 CSV 文件作为示例。

假设我们有一个名为 example.csv 的 CSV 文件，包含以下数据：

id,name,age
1,Alice,25
2,Bob,30
3,Carol,35

允许上传 CSV

默认情况下，MySQL 是不允许上传 CSV 文件的。为了允许上传 CSV，需要先打开 MySQL 配置文件并进行相应的配置。

打开 MySQL 配置文件，可以使用文本编辑器打开，具体路径根据安装方式不同而有所不同。一般情况下，配置文件位于 /etc/mysql/my.cnf 或者 /etc/my.cnf。
在配置文件中找到并编辑以下相关配置项：

[mysqld]
secure_file_priv =

将 secure_file_priv 的值设置为空字符串，表示允许从任何位置导入数据文件。

保存配置文件并重启 MySQL 服务，使配置生效：

sudo service mysql restart

完成以上步骤后，MySQL 将允许上传 CSV 文件用于数据导入。

导入数据

在打开了 CSV 上传的情况下，可以通过 LOAD DATA INFILE 命令来实现数据导入。

以下是一个示例 SQL 命令，用于将 example.csv 文件的数据导入到名为 users 的表中：

LOAD DATA INFILE '/path/to/example.csv'
INTO TABLE users
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
IGNORE 1 LINES
(id, name, age);

其中，/path/to/example.csv 是 example.csv 文件的路径。users 是目标表的名称，需要事先创建好表结构以匹配 CSV 中的字段。FIELDS TERMINATED BY ',' 表示字段之间使用逗号分隔，LINES TERMINATED BY '\n' 表示行之间使用换行符分隔，IGNORE 1 LINES 表示忽略 CSV 文件的第一行（即标题行），(id, name, age) 表示按顺序将 CSV 中的列对应到数据库表的字段。

执行以上 SQL 命令，即可将 CSV 文件中的数据导入到 MySQL 数据库中。

示例代码

以下是一个具体的示例代码，演示如何使用 Python 和 MySQL 完成 CSV 导入的操作。在示例中，我们将使用 pandas 库来读取 CSV 文件，并利用 mysql-connector 库连接和操作 MySQL 数据库。

首先，确保已安装必要的 Python 库：

pip install pandas mysql-connector

接下来，创建一个 Python 脚本，命名为 import_csv_to_mysql.py，并写入以下代码：

import pandas as pd
import mysql.connector

# 读取 CSV 文件
df = pd.read_csv('example.csv')

# 连接 MySQL 数据库
conn = mysql.connector.connect(
    host='localhost',
    user='root',
    password='your_password',
    database='your_database'
)

# 创建数据表
cursor = conn.cursor()
cursor.execute('CREATE TABLE IF NOT EXISTS users (id INT, name VARCHAR(255), age INT)')

# 导入数据
for i, row in df.iterrows():
    cursor.execute('INSERT INTO users (id, name, age) VALUES (%s, %s, %s)', (row['id'], row['name'], row['age']))

# 提交事务并关闭连接
conn.commit()
conn.close()

在脚本中，我们首先使用 pandas 库读取了 example.csv 文件的数据，并连接到 MySQL 数据库。然后创建了名为 users 的数据表，并逐行将 CSV 数据插入到数据库中。最后，提交事务并关闭数据库连接。

运行以上代码，即可完成 CSV 文件数据导入到 MySQL 数据库的操作。