Pandas DataFrame中展开（explode）多个list列的高效方法

在本文中，我们将介绍如何使用Pandas DataFrame中的函数explode()展开（或解压缩）多个list列。这个问题经常出现在数据分析的实践中，这里我们将详细讨论如何高效解决这个问题。

阅读更多：Pandas 教程

问题描述

首先，我们来描述一下该问题。假设我们有以下数据框：

其中，fruits和vegetables是两个列表列。我们希望将这些列表展开到单独的行中，即将原始数据框转换为以下形式：

解决方案

Pandas提供了explode()方法，它的主要作用是将列表中的元素解压到单独的行中。对于单个列表列，我们可以直接使用explode()方法来展开列表中的元素。例如，对于上述数据框中的fruits列，我们可以执行以下操作：

import pandas as pd

# 创建数据框
df = pd.DataFrame({
    'id': [1, 2, 3],
    'name': ['A', 'B', 'C'],
    'date': ['2021-01-01', '2021-01-02', '2021-01-03'],
    'fruits': [['apple', 'banana'], ['orange', 'peach'], ['pear']],
    'vegetables': [['celery', 'carrot'], ['cucumber', 'tomato'], ['broccoli', 'spinach']]
})

# 展开fruits列
df_fruits = df.explode('fruits')
print(df_fruits)

输出结果应该是：

   id name        date   fruits      vegetables
0   1    A  2021-01-01    apple           celery
0   1    A  2021-01-01   banana           carrot
1   2    B  2021-01-02   orange         cucumber
1   2    B  2021-01-02    peach           tomato
2   3    C  2021-01-03     pear         broccoli
2   3    C  2021-01-03     pear          spinach

注意，explode()方法返回一个新的数据框，其中列表列已经展开为单独的行了。在这个例子中，fruits列已经被成功地展开。

然而，对于多个列表列，我们需要使用apply()方法来应用explode()函数。首先，我们可以定义一个自定义的函数来展开多个列表列：

def explode_multiple_cols(df, columns):
    for col in columns:
        df = df.explode(col)
    return df

上述函数接受一个数据框和要展开的列的列表作为参数，并依次应用explode()方法。接下来，我们可以使用apply()方法并将上述函数作为参数来展开多个列表列。例如，我们可以使用以下代码展开fruits和vegetables列：

# 展开多个列表列
df_multi = df[["id", "name", "date", "fruits", "vegetables"]].apply(
    lambda x: explode_multiple_cols(x, ["fruits", "vegetables"]),
    axis=1
).reset_index(drop=True)

# 重命名列
df_multi = df_multi.rename(columns={0: "type", 1: "value"})

# 输出结果
print(df_multi)

输出结果应该是：

    id name        date        type       value
0    1    A  2021-01-01      fruits       apple
1    1    A  2021-01-01      fruits      banana
2    1    A  2021-01-01  vegetables      celery
3    1    A  2021-01-01  vegetables      carrot
4    2    B  2021-01-02      fruits      orange
5    2    B  2021-01-02      fruits       peach
6    2    B  2021-01-02  vegetables    cucumber
7    2    B  2021-01-02  vegetables      tomato
8    3    C  2021-01-03      fruits        pear
9    3    C  2021-01-03  vegetables    broccoli
10   3    C  2021-01-03  vegetables     spinach

在上述代码中，我们首先使用apply()方法并将自定义函数作为参数来展开fruits和vegetables列。然后，我们将展开的结果重命名为type和value列。最后，我们使用reset_index()方法重置了索引，以便获取正确的行数。

总结

在本文中，我们介绍了如何使用Pandas DataFrame的explode()方法展开多个列表列。对于单个列表列，我们可以直接使用explode()方法来完成操作。对于多个列表列，我们可以定义一个自定义函数并使用apply()方法来应用explode()方法。希望这篇文章可以对您在处理多个列表展开的问题上有所帮助。