MySQL实现快速插入大量数据的方法——insert多条语句

前言

在实际的软件开发中，我们经常需要处理大量的数据。当需要将这些数据插入到MySQL数据库中时，如果使用普通的insert语句，效率会非常低下。本文将介绍一种高效的方法，即使用insert语句一次性插入多条数据，从而大大提高数据插入的效率。

问题描述

当需要向数据库中插入大量数据时，使用常规的insert语句逐条插入数据会导致插入效率非常低下。这是因为每次插入一条数据都会产生与数据库服务器的一次网络通信。这样的通信开销在大量的数据插入时会非常显著，从而导致插入效率低下。

解决方法

为了提高数据插入的效率，我们可以使用一次性插入多条数据的方式，即使用insert语句一次性插入多条数据。这种方式可以减少与数据库服务器的网络通信次数，从而大大提高插入效率。

具体来说，我们可以使用如下的insert语句来一次性插入多条数据：

insert into 表名 (字段1, 字段2, ...) values
(值1, 值2, ...),
(值1, 值2, ...),
...

其中，表名是要插入数据的表的名字；字段1, 字段2, ...是要插入的数据的字段名；(值1, 值2, ...)是要插入的一组数据的值。可以一次性插入多组数据，每组数据用逗号分隔。

示例

下面是一个具体的示例，假设有一个名为users的表，其中有id, name, age三个字段。我们需要将一批用户数据插入到该表中。

首先，我们需要准备用户数据。这里我们假设有10000个用户，使用Python编写一个脚本生成测试数据：

import random

# 生成随机姓名
def get_random_name():
    first_names = ['张', '李', '王', '赵', '钱', '孙', '周', '吴', '郑', '王']
    last_names = ['小', '大', '明', '红', '伟', '芳', '丽', '美', '静', '翔']

    first_name = random.choice(first_names)
    last_name = random.choice(last_names)

    return first_name + last_name

# 生成随机年龄
def get_random_age():
    return random.randint(18, 60)

# 生成用户数据
def generate_data(num):
    data = []
    for _ in range(num):
        name = get_random_name()
        age = get_random_age()
        data.append((name, age))

    return data

# 测试数据生成
data = generate_data(10000)

# 输出测试数据
for name, age in data:
    print(name, age)

运行上述代码，将得到一批随机生成的用户数据。

接下来，我们使用一次性插入多条数据的方式将这些数据插入到users表中。首先在MySQL数据库中创建users表：

create table users (
    id int auto_increment primary key,
    name varchar(20),
    age int
);

然后，使用python连接MySQL，并执行插入操作：

import mysql.connector

# 连接MySQL数据库
mydb = mysql.connector.connect(
  host="localhost",
  user="root",
  password="root",
  database="test"
)

# 创建游标
mycursor = mydb.cursor()

# 插入数据
sql = "insert into users (name, age) values (%s, %s)"
mycursor.executemany(sql, data)

# 提交事务
mydb.commit()

# 输出插入的行数
print(mycursor.rowcount, "rows inserted.")

上述代码中使用了executemany方法来一次性插入多条数据，其中%s是占位符，用来表示要插入的数据。data是一个包含多个用户数据的列表，每个用户数据是一个包含姓名和年龄的元组。

最后，执行脚本，将数据插入到users表中。插入完成后，可以通过查询来验证数据是否已成功插入。