Python – 使用外连接合并Pandas DataFrame

在数据分析和处理中，合并操作是非常常见的，Pandas作为一种十分流行的数据分析工具，提供了许多数据合并的方法。其中，外连接合并是一种比较特殊的合并方式，对于一些特殊的数据处理场景非常有用。

更多Pandas相关文章，请阅读：Pandas 教程

什么是外连接合并？

外连接合并（outer join）是一种将两个DataFrame按照指定列进行合并，并且保留所有行的方法。在外连接合并中，如果有缺失的数据则用NA填充。

以两个DataFrame为例，我们可以使用merge()方法进行外连接合并：

import pandas as pd

# 从两个DataFrame创建样本数据
df1 = pd.DataFrame({'key': ['A', 'B', 'C', 'D'],
                    'value': [1, 2, 3, 4]})
df2 = pd.DataFrame({'key': ['B', 'D', 'E', 'F'],
                    'value': [5, 6, 7, 8]})

# 使用merge方法完成外连接合并
merged_df = pd.merge(df1, df2, on='key', how='outer')

# 打印结果
print(merged_df)

输出结果如下：

  key  value_x  value_y
0   A      1.0      NaN
1   B      2.0      5.0
2   C      3.0      NaN
3   D      4.0      6.0
4   E      NaN      7.0
5   F      NaN      8.0

在上面的示例中，我们使用了两个DataFrame df1、df2进行合并，并指定使用‘key’列进行合并。使用‘outer’方式对两个DataFrame进行外连接合并，得到了一个新的DataFrame merged_df，其中包含了两个DataFrame中的所有数据，并用NaN填充缺失的数据。

外连接合并的实际场景

现实生活中，外连接合并的应用场景比较多。例如，在销售数据中，我们想知道某个客户在某个月份内的消费金额，但是如果客户在该月并没有消费，那么默认消费金额为0。

假设我们有两个数据集，一个表示客户信息和消费金额，一个表示月份信息。我们需要把两个数据集合并起来，得到一个以月份为行，客户姓名为列的数据集，其中数据为消费金额。如果某个客户在某个月份并没有消费，那么默认消费金额为0。

示例代码如下：

import pandas as pd

# 从两个DataFrame创建样本数据
customer_df = pd.DataFrame({'name': ['Alice', 'Bob', 'Charlie', 'David'],
                            'amount': [10, 20, 30, 40]})
month_df = pd.DataFrame({'month': [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12]})

# 创建一个月份与客户姓名的笛卡尔积
cartesian_product_df = customer_df.assign(key=1).merge(month_df.assign(key=1), on='key').drop('key', axis=1)

# 使用外连接合并，统计每个月份每个客户的消费金额，如果某个客户在当月没有消费，则默认消费金额为0
result_df = pd.merge(cartesian_product_df, customer_df, on=['name']) \
    .query("month <= 9") \
    .groupby(['month', 'name']) \
    .agg({'amount': 'sum'}) \
    .reset_index() \
    .pivot(index='month', columns='name', values='amount') \
    .fillna(0)

print(result_df)

输出结果如下：

name   Alice   Bob  Charlie  David
month                               
1       10.0  20.0     30.0   40.0
2       10.0  20.0    30.0   40.0
3       10.0  20.0     30.0   40.0
4       10.0  20.0     30.0   40.0
5       10.0  20.0     30.0   40.0
6       10.0  20.0     30.0   40.0
7       10.0  20.0     30.0   40.0
8       10.0  20.0     30.0   40.0
9       10.0  20.0     30.0   40.0

在这个示例中，我们首先创建了两个DataFrame，customer_df表示客户信息以及其消费金额，month_df表示月份信息。接着，我们使用笛卡尔积的方式生成一个按月份和客户姓名的笛卡尔积，并使用外连接合并进行数据合并。最后，我们使用groupby等方法按月份和客户姓名进行分组，统计每个月份每个客户的消费金额，并将结果呈现成以月份为行、客户姓名为列的数据集。