Python 如何使用Pandas按特定列合并两个csv文件

CSV（逗号分隔值）文件被广泛用于以简单的格式存储和交换数据。在许多数据处理任务中，根据特定列合并两个或更多CSV文件是必需的。幸运的是，使用Python中的Pandas库可以轻松实现这一目标。

在本文中，我们将学习如何使用Python中的Pandas按照特定列合并两个CSV文件。

Pandas库是什么

Pandas是一个用于信息控制和分析的开源库。它提供了用于处理结构化数据（如表格、时间序列和多维数据）的工具，以及高性能的数据结构。Pandas广泛应用于金融、数据科学、机器学习和其他需要数据处理的领域。

按特定列合并两个CSV文件的步骤

以下是使用Python中的Pandas库按照特定列合并两个CSV文件的完整步骤：

步骤1：导入Pandas库

合并两个CSV文件的第一步是导入pandas库。Pandas是Python的强大数据分析库。它提供了用于高效存储和操作大型数据集的数据结构。要使用Pandas，我们首先需要在Python程序中导入它。可以使用以下命令来实现这一点：

import pandas as pd

步骤2：读取CSV文件

我们的下一步是读取我们想要合并的两个CSV文件。我们可以使用Pandas的read_csv()函数将CSV文件读取到Pandas DataFrame中。我们需要将CSV文件的文件路径或URL作为参数提供给read_csv()函数。例如 –

df1 = pd.read_csv('file1.csv')
df2 = pd.read_csv('file2.csv')

步骤3：合并CSV文件

在将CSV文件读入Pandas DataFrames之后，现在是时候根据特定列使用merge()函数将它们合并了。merge()函数接受两个DataFrames作为输入，并根据共同的列将它们合并在一起。这里是基本的语法−

merged_df = pd.merge(df1, df2, on='column_name')

在这个例子中，merged_df是包含df1和df2合并数据的新DataFrame。on参数指定了两个DataFrame合并时的共同列的名称。

例如，假设我们有两个CSV文件sales.csv和customers.csv。这两个文件都包含一个名为CustomerID的列。我们想要根据CustomerID列合并这两个文件。下面是具体的做法：

sales = pd.read_csv('sales.csv')
customers = pd.read_csv('customers.csv')
merged_df = pd.merge(sales, customers, on='CustomerID')

步骤4：处理缺失值（如果有）

当基于特定列合并两个CSV文件时，合并后的数据框中可能会出现缺失值。这些缺失值可能发生在其中一个CSV文件对应列中没有匹配值的情况下。

为了处理缺失值，我们可以使用Pandas的fillna()函数将其替换为默认值或计算值。例如，我们可以使用以下代码将缺失值替换为字符串’Unknown’：

merged_df.fillna('Unknown', inplace=True)

在这个例子中，我们使用了fillna()函数将合并的数据框中的缺失值替换为字符串’Unknown’。我们还指定了inplace参数为True，这意味着原始数据框将被修改而不是创建一个新的数据框。

示例1：使用Merge()函数

在这个例子中，我们将使用Pandas的merge()函数根据特定列合并两个CSV文件。

CSV Files

假设我们有两个CSV文件：employees.csv和departments.csv。 employees.csv文件包含以下数据−

departments.csv 文件包含以下数据 −

示例

import pandas as pd

# Load CSV files
employees = pd.read_csv('employees.csv')
departments = pd.read_csv('departments.csv')

# Merge dataframes based on DepartmentID column
merged_df = pd.merge(employees, departments, on='DepartmentID')

# Print merged dataframe
print(merged_df.head())

# Save merged dataframe to a new CSV file
merged_df.to_csv('merged_employees_departments.csv', index=False)

输出

EmployeeID   Name  DepartmentID  Salary DepartmentName
0           1   John             1   50000             IT
1           3  David             1   55000             IT
2           2  Sarah             2   60000          Sales
3           5  Emily             2   55000          Sales
4           4   Alex             3   65000      Marketing

示例2：使用join()函数

在这个例子中，我们将使用Pandas的join()方法基于特定列合并两个CSV文件。

CSV Files

文件customers.csv包含以下数据 –

示例

import pandas as pd

# Load CSV files
orders = pd.read_csv('orders.csv')
customers = pd.read_csv('customers.csv')

# Join dataframes based on CustomerID column
joined_df = orders.set_index('CustomerID').join(customers.set_index('CustomerID'))

# Print joined dataframe
print(joined_df.head())

# Save joined dataframe to a new CSV file
joined_df.to_csv('joined_orders_customers.csv')

输出

OrderID   OrderDate  TotalAmount CustomerName              Email
CustomerID                                                                  
1                 1  2022-05-01        100.0         John   john@example.com
1                 4  2022-05-04         75.0         John   john@example.com
2                 3  2022-05-03        200.0        Sarah  sarah@example.com
3                 2  2022-05-02        150.0        David  david@example.com
4                 5  2022-05-05        120.0        Emily  emily@example.com

使用Pandas的merge()函数，我们根据这个例子中的”id”列合并了两个CSV文件。合并后的DataFrame包括”id”列以及”name_x”、”email_x”、”name_y”和”email_y”列。

需要注意的是，在组合的DataFrame中，’name_y’和’email_y’段中有缺失值，这与第二个CSV记录中没有匹配的内容有关。如前一步骤演示的，可以使用Pandas的fillna()和dropna()函数来处理这些缺失值。

结论

基于特定列合并两个CSV文件是常见的数据处理任务，在Python的Pandas库中可以很容易实现。在本文中，我们学习了如何使用Pandas的merge()函数合并两个CSV文件。我们还讨论了如何处理缺失值以及如何将合并的DataFrame保存为新的CSV文件。