极客笔记MySQL pandas操作mysql数据库
介绍
MySQL 是最受欢迎的开源关系型数据库管理系统之一，而 pandas 是 Python 中一个强大的数据处理库。在数据分析和数据科学领域，经常需要将数据从 MySQL 数据库中读取到 pandas DataFrame 中进行分析和处理。
本文将详细介绍如何使用 pandas 操作 MySQL 数据库，包括连接数据库、读取数据、插入数据和更新数据等操作。我们将使用 Python 语言进行演示，并使用 pymysql 库来连接 MySQL 数据库。
环境设置
在开始之前，我们需要安装三个必要的库：pandas、pymysql 和 sqlalchemy。可以使用以下命令进行安装：
pip install pandas
pip install pymysql
pip install sqlalchemy
连接数据库
首先，我们需要导入所需的库：
import pandas as pd
from sqlalchemy import create_engine
然后，我们可以使用 create_engine 函数创建一个数据库连接。
engine = create_engine("mysql+pymysql://username:password@host:port/database")
请确保替换 username、password、host、port 和 database 分别为您的 MySQL 数据库的实际值。如果您的 MySQL 数据库是在本地运行，并且端口是默认的 3306，则可以使用以下代码：
engine = create_engine("mysql+pymysql://username:password@localhost:3306/database")
现在，我们已经成功连接了 MySQL 数据库。
读取数据
读取整个表
要读取整个表的数据，我们可以使用 read_sql_table 函数。以下示例将读取名为 students 的表：
df = pd.read_sql_table("students", engine)
这将返回一个 pandas 的 DataFrame 对象，其中包含从数据库中检索到的数据。
执行 SQL 查询
如果要执行复杂的 SQL 查询，我们可以使用 read_sql_query 函数。以下示例将执行一条 SQL 查询，并将结果读取到 DataFrame 中：
query = "SELECT * FROM students WHERE age > 20"
df = pd.read_sql_query(query, engine)
请注意，read_sql_query 函数可以执行任何有效的 SQL 查询，并将查询结果作为 DataFrame 返回。
插入数据
要将数据插入到 MySQL 数据库中，我们可以使用 pandas 中的 to_sql 函数。
首先，我们需要创建一个 DataFrame 对象，用于保存要插入的数据。以下示例创建了一个 DataFrame 对象：
data = {'name': ['Alice', 'Bob', 'Charlie'],
'age': [21, 22, 23],
'gender': ['female', 'male', 'male']}
df = pd.DataFrame(data)
然后，我们可以使用以下代码将 DataFrame 中的数据插入到名为 students 的表中：
df.to_sql('students', engine, if_exists='append', index=False)
这将将 DataFrame 中的数据插入到 students 表中。请注意，如果 students 表已经存在，则使用 if_exists='append' 参数将数据追加到该表中。如果您希望覆盖表中的现有数据，可以使用 if_exists='replace'。
更新数据
要更新 MySQL 数据库中的数据，我们可以使用 execute 函数执行 UPDATE 语句。
以下示例将把名字为 “Alice” 的学生年龄更新为 25 岁：
update_query = "UPDATE students SET age = 25 WHERE name = 'Alice'"
with engine.connect() as connection:
connection.execute(update_query)
请注意，我们使用 with 语句创建了一个连接，并在操作完成后自动关闭连接。这是为了确保每次操作时都会正确关闭连接。
删除数据
要从 MySQL 数据库中删除数据，我们可以使用 execute 函数执行 DELETE 语句。
以下示例将删除名字为 “Bob” 的学生：
delete_query = "DELETE FROM students WHERE name = 'Bob'"
with engine.connect() as connection:
connection.execute(delete_query)
同样，我们使用 with 语句创建了一个连接，并在操作完成后自动关闭连接。
结论
在本文中，我们学习了如何使用 pandas 操作 MySQL 数据库。我们介绍了如何连接数据库、读取数据、插入数据、更新数据和删除数据。当需要从 MySQL 数据库中读取数据，并将其加载到 pandas DataFrame 中进行分析时，pandas 是一个非常有用的工具。使用 pandas，我们可以轻松地执行 SQL 查询，处理和分析数据。