极客笔记Pandas中使用groupby对两列进行分组操作的详细指南
Pandas是Python中用于数据分析和处理的强大库，其中groupby功能是一个非常实用的工具，可以帮助我们对数据进行分组和聚合操作。本文将详细介绍如何在Pandas中使用groupby对两列进行分组操作，包括基本概念、常用方法、高级技巧以及实际应用场景。
1. groupby的基本概念
在Pandas中，groupby操作允许我们根据一个或多个列对数据进行分组，然后对每个分组应用各种聚合函数或自定义操作。当我们使用两列进行分组时，实际上是创建了一个层次化的索引结构，每个唯一的列值组合都会形成一个分组。
让我们从一个简单的例子开始：
import pandas as pd
# 创建示例数据
data = {
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'pandasdataframe.com', 'pandasdataframe.com'],
'category': ['A', 'B', 'A', 'B'],
'product': ['X', 'Y', 'Z', 'X'],
'sales': [100, 150, 200, 120]
}
df = pd.DataFrame(data)
# 对'category'和'product'列进行分组
grouped = df.groupby(['category', 'product'])
# 打印分组信息
print(grouped.groups)
Output:
在这个例子中，我们创建了一个包含网站、类别、产品和销售额信息的DataFrame。然后，我们使用groupby方法对’category’和’product’列进行分组。grouped.groups会显示每个分组的索引。
2. 对分组应用聚合函数
分组后，我们通常会对每个分组应用某些聚合函数。Pandas提供了许多内置的聚合函数，如sum()、mean()、count()等。
import pandas as pd
data = {
'website': ['pandasdataframe.com'] * 6,
'category': ['A', 'A', 'B', 'B', 'C', 'C'],
'product': ['X', 'Y', 'X', 'Y', 'X', 'Y'],
'sales': [100, 150, 200, 120, 80, 250]
}
df = pd.DataFrame(data)
# 计算每个分组的销售总额
sales_sum = df.groupby(['category', 'product'])['sales'].sum()
print(sales_sum)
Output:
这个例子展示了如何计算每个类别和产品组合的销售总额。groupby方法返回一个GroupBy对象，我们可以直接在这个对象上调用聚合函数。
3. 使用agg()方法应用多个聚合函数
有时我们需要同时应用多个聚合函数。Pandas的agg()方法允许我们一次性应用多个函数：
import pandas as pd
data = {
'website': ['pandasdataframe.com'] * 8,
'category': ['A', 'A', 'B', 'B', 'A', 'A', 'B', 'B'],
'product': ['X', 'Y', 'X', 'Y', 'X', 'Y', 'X', 'Y'],
'sales': [100, 150, 200, 120, 80, 250, 300, 180],
'quantity': [10, 15, 20, 12, 8, 25, 30, 18]
}
df = pd.DataFrame(data)
# 应用多个聚合函数
result = df.groupby(['category', 'product']).agg({
'sales': ['sum', 'mean'],
'quantity': ['max', 'min']
})
print(result)
Output:
在这个例子中，我们对’sales’列应用了sum和mean函数，对’quantity’列应用了max和min函数。结果是一个多层索引的DataFrame。
4. 自定义聚合函数
除了使用内置的聚合函数，我们还可以定义自己的聚合函数：
import pandas as pd
import numpy as np
data = {
'website': ['pandasdataframe.com'] * 10,
'category': ['A', 'A', 'B', 'B', 'C', 'C', 'A', 'B', 'C', 'A'],
'product': ['X', 'Y', 'X', 'Y', 'X', 'Y', 'Z', 'Z', 'Z', 'X'],
'sales': [100, 150, 200, 120, 80, 250, 180, 220, 190, 110]
}
df = pd.DataFrame(data)
def custom_agg(x):
return pd.Series({
'total': x.sum(),
'average': x.mean(),
'range': x.max() - x.min()
})
result = df.groupby(['category', 'product'])['sales'].apply(custom_agg)
print(result)
Output:
这个例子展示了如何创建一个自定义的聚合函数，该函数计算总和、平均值和范围（最大值减最小值）。
5. 重置索引
groupby操作后的结果通常具有多层索引。有时我们可能希望将这些索引转换为普通列：
import pandas as pd
data = {
'website': ['pandasdataframe.com'] * 6,
'category': ['A', 'A', 'B', 'B', 'C', 'C'],
'product': ['X', 'Y', 'X', 'Y', 'X', 'Y'],
'sales': [100, 150, 200, 120, 80, 250]
}
df = pd.DataFrame(data)
result = df.groupby(['category', 'product'])['sales'].sum().reset_index()
print(result)
Output:
reset_index()方法将多层索引转换为普通列，使结果更易于处理和可视化。
6. 使用transform()方法
transform()方法允许我们对分组数据应用函数，并返回与原始DataFrame相同形状的结果：
import pandas as pd
data = {
'website': ['pandasdataframe.com'] * 8,
'category': ['A', 'A', 'B', 'B', 'A', 'A', 'B', 'B'],
'product': ['X', 'Y', 'X', 'Y', 'X', 'Y', 'X', 'Y'],
'sales': [100, 150, 200, 120, 80, 250, 300, 180]
}
df = pd.DataFrame(data)
# 计算每个分组的平均销售额
df['avg_sales'] = df.groupby(['category', 'product'])['sales'].transform('mean')
print(df)
Output:
这个例子计算了每个类别和产品组合的平均销售额，并将结果添加为新列。
7. 使用filter()方法
filter()方法允许我们基于某些条件筛选整个分组：
import pandas as pd
data = {
'website': ['pandasdataframe.com'] * 10,
'category': ['A', 'A', 'B', 'B', 'C', 'C', 'A', 'B', 'C', 'A'],
'product': ['X', 'Y', 'X', 'Y', 'X', 'Y', 'Z', 'Z', 'Z', 'X'],
'sales': [100, 150, 200, 120, 80, 250, 180, 220, 190, 110]
}
df = pd.DataFrame(data)
# 筛选出平均销售额大于150的分组
filtered = df.groupby(['category', 'product']).filter(lambda x: x['sales'].mean() > 150)
print(filtered)
Output:
这个例子筛选出了平均销售额大于150的类别和产品组合。
8. 处理缺失值
在进行groupby操作时，我们可能会遇到缺失值。Pandas提供了多种方法来处理这种情况：
import pandas as pd
import numpy as np
data = {
'website': ['pandasdataframe.com'] * 8,
'category': ['A', 'A', 'B', 'B', 'A', 'A', 'B', 'B'],
'product': ['X', 'Y', 'X', 'Y', 'X', 'Y', 'X', 'Y'],
'sales': [100, 150, np.nan, 120, 80, 250, 300, np.nan]
}
df = pd.DataFrame(data)
# 忽略缺失值
result1 = df.groupby(['category', 'product'])['sales'].sum()
# 填充缺失值
df_filled = df.fillna(0)
result2 = df_filled.groupby(['category', 'product'])['sales'].sum()
print("Ignoring NaN values:")
print(result1)
print("\nAfter filling NaN with 0:")
print(result2)
Output:
这个例子展示了两种处理缺失值的方法：忽略缺失值和填充缺失值。
9. 使用as_index参数
groupby()方法的as_index参数允许我们控制是否将分组列用作索引：
import pandas as pd
data = {
'website': ['pandasdataframe.com'] * 6,
'category': ['A', 'A', 'B', 'B', 'C', 'C'],
'product': ['X', 'Y', 'X', 'Y', 'X', 'Y'],
'sales': [100, 150, 200, 120, 80, 250]
}
df = pd.DataFrame(data)
# 默认行为：分组列作为索引
result1 = df.groupby(['category', 'product'])['sales'].sum()
# 将分组列作为普通列
result2 = df.groupby(['category', 'product'], as_index=False)['sales'].sum()
print("With index:")
print(result1)
print("\nWithout index:")
print(result2)
Output:
这个例子展示了as_index参数的作用，它可以控制分组列是否作为结果的索引。
10. 使用groupby进行时间序列分析
Pandas的groupby功能在处理时间序列数据时也非常有用：
import pandas as pd
import numpy as np
# 创建示例时间序列数据
dates = pd.date_range(start='2023-01-01', end='2023-12-31', freq='D')
data = {
'website': ['pandasdataframe.com'] * len(dates),
'date': dates,
'sales': np.random.randint(50, 200, size=len(dates))
}
df = pd.DataFrame(data)
# 按月和星期几分组
df['month'] = df['date'].dt.month
df['weekday'] = df['date'].dt.weekday
monthly_sales = df.groupby('month')['sales'].sum()
weekday_sales = df.groupby('weekday')['sales'].mean()
print("Monthly sales:")
print(monthly_sales)
print("\nAverage sales by weekday:")
print(weekday_sales)
Output:
这个例子展示了如何使用groupby对时间序列数据进行分析，计算每月总销售额和每个工作日的平均销售额。
11. 使用groupby进行数据透视
groupby结合pivot_table可以轻松创建数据透视表：
import pandas as pd
import numpy as np
data = {
'website': ['pandasdataframe.com'] * 12,
'date': pd.date_range(start='2023-01-01', periods=12, freq='M'),
'category': np.repeat(['A', 'B', 'C'], 4),
'sales': np.random.randint(100, 1000, 12)
}
df = pd.DataFrame(data)
pivot_table = pd.pivot_table(df, values='sales', index='category', columns=pd.Grouper(key='date', freq='Q'), aggfunc='sum')
print(pivot_table)
这个例子创建了一个按季度和类别汇总销售额的数据透视表。
12. 使用groupby进行窗口计算
groupby还可以用于执行窗口计算，如滚动平均：
import pandas as pd
import numpy as np
data = {
'website': ['pandasdataframe.com'] * 100,
'date': pd.date_range(start='2023-01-01', periods=100),
'category': np.random.choice(['A', 'B', 'C'], 100),
'sales': np.random.randint(50, 200, 100)
}
df = pd.DataFrame(data)
# 计算每个类别的7天滚动平均销售额
df['rolling_avg'] = df.groupby('category')['sales'].transform(lambda x: x.rolling(window=7, min_periods=1).mean())
print(df.head(10))
Output:
这个例子展示了如何使用groupby和rolling方法计算每个类别的7天滚动平均销售额。
13. 使用groupby进行累积计算
groupby还可以用于执行累积计算：
import pandas as pd
import numpy as np
data = {
'website': ['pandasdataframe.com'] * 10,
'category': ['A', 'A', 'B', 'B', 'C', 'C', 'A', 'B', 'C', 'A'],
'sales': [100, 150, 200, 120, 80, 250, 180, 220, 190, 110]
}
df = pd.DataFrame(data)
# 计算每个类别的累积销售额
df['cumulative_sales'] = df.groupby('category')['sales'].cumsum()
print(df)
Output:
这个例子计算了每个类别的累积销售额。
14. 使用groupby进行排序
我们可我们可以结合groupby和排序功能来获取每个分组的前N个记录：
import pandas as pd
import numpy as np
data = {
'website': ['pandasdataframe.com'] * 15,
'category': np.repeat(['A', 'B', 'C'], 5),
'product': np.tile(['X', 'Y', 'Z', 'W', 'V'], 3),
'sales': np.random.randint(100, 1000, 15)
}
df = pd.DataFrame(data)
# 获取每个类别销售额最高的前2个产品
top_2 = df.groupby('category').apply(lambda x: x.nlargest(2, 'sales')).reset_index(drop=True)
print(top_2)
这个例子展示了如何获取每个类别中销售额最高的前两个产品。
15. 使用groupby进行数据归一化
groupby可以用于对每个分组内的数据进行归一化处理：
import pandas as pd
import numpy as np
data = {
'website': ['pandasdataframe.com'] * 12,
'category': np.repeat(['A', 'B', 'C'], 4),
'product': np.tile(['X', 'Y', 'Z', 'W'], 3),
'sales': np.random.randint(100, 1000, 12)
}
df = pd.DataFrame(data)
# 对每个类别内的销售额进行归一化
df['normalized_sales'] = df.groupby('category')['sales'].transform(lambda x: (x - x.min()) / (x.max() - x.min()))
print(df)
Output:
这个例子展示了如何对每个类别内的销售额进行归一化处理，使得每个类别内的销售额都在0到1之间。
16. 使用groupby处理多层索引
当处理多层索引的DataFrame时，groupby操作可能会变得更加复杂：
import pandas as pd
import numpy as np
# 创建一个多层索引的DataFrame
index = pd.MultiIndex.from_product([['A', 'B'], ['X', 'Y', 'Z']], names=['category', 'product'])
data = {
'website': ['pandasdataframe.com'] * 6,
'sales': np.random.randint(100, 1000, 6),
'quantity': np.random.randint(10, 100, 6)
}
df = pd.DataFrame(data, index=index)
# 按category分组并计算总和
result = df.groupby(level='category').sum()
print(result)
Output:
这个例子展示了如何对多层索引的DataFrame进行分组操作。
17. 使用groupby进行交叉表分析
groupby结合crosstab函数可以轻松创建交叉表：
import pandas as pd
import numpy as np
data = {
'website': ['pandasdataframe.com'] * 100,
'category': np.random.choice(['A', 'B', 'C'], 100),
'product': np.random.choice(['X', 'Y', 'Z'], 100),
'sales': np.random.randint(100, 1000, 100)
}
df = pd.DataFrame(data)
# 创建交叉表
cross_tab = pd.crosstab(df['category'], df['product'], values=df['sales'], aggfunc='sum')
print(cross_tab)
Output:
这个例子创建了一个显示每个类别和产品组合总销售额的交叉表。
18. 使用groupby进行数据重塑
groupby可以与unstack方法结合使用来重塑数据：
import pandas as pd
import numpy as np
data = {
'website': ['pandasdataframe.com'] * 12,
'date': pd.date_range(start='2023-01-01', periods=12, freq='M'),
'category': np.repeat(['A', 'B', 'C'], 4),
'sales': np.random.randint(100, 1000, 12)
}
df = pd.DataFrame(data)
# 重塑数据
reshaped = df.groupby(['date', 'category'])['sales'].sum().unstack()
print(reshaped)
这个例子将数据重塑为一个以日期为索引，类别为列的新形式。
19. 使用groupby进行复杂的条件分组
有时我们可能需要基于复杂的条件进行分组：
import pandas as pd
import numpy as np
data = {
'website': ['pandasdataframe.com'] * 100,
'sales': np.random.randint(100, 1000, 100)
}
df = pd.DataFrame(data)
# 基于销售额范围进行分组
df['sales_group'] = pd.cut(df['sales'], bins=[0, 300, 600, np.inf], labels=['Low', 'Medium', 'High'])
result = df.groupby('sales_group')['sales'].agg(['count', 'mean', 'sum'])
print(result)
这个例子展示了如何基于销售额范围进行分组，并计算每个组的数量、平均值和总和。
20. 使用groupby进行时间序列重采样
groupby结合resample方法可以进行时间序列的重采样操作：
import pandas as pd
import numpy as np
data = {
'website': ['pandasdataframe.com'] * 100,
'date': pd.date_range(start='2023-01-01', periods=100, freq='D'),
'sales': np.random.randint(100, 1000, 100)
}
df = pd.DataFrame(data)
df.set_index('date', inplace=True)
# 按周重采样并计算平均销售额
weekly_sales = df.groupby(pd.Grouper(freq='W'))['sales'].mean()
print(weekly_sales)
Output:
这个例子展示了如何将每日销售数据重采样为每周平均销售额。
总结：
本文详细介绍了Pandas中使用groupby对两列进行分组操作的各种方法和技巧。我们从基本的groupby概念开始，逐步深入到更复杂的应用场景，包括多重聚合、自定义函数、数据透视、时间序列分析等。通过这些示例，我们可以看到groupby是一个非常强大和灵活的工具，能够帮助我们高效地处理和分析复杂的数据集。
在实际的数据分析工作中，熟练运用groupby可以大大提高我们的工作效率。无论是简单的数据汇总，还是复杂的多维度分析，groupby都能提供有力的支持。同时，将groupby与其他Pandas功能结合使用，如pivot_table、crosstab、resample等，可以进一步扩展我们的分析能力。
最后，需要注意的是，在处理大型数据集时，groupby操作可能会消耗大量内存和计算资源。在这种情况下，可以考虑使用更高效的数据处理库，如Dask或Vaex，它们提供了类似Pandas的API，但能够处理超出内存大小的数据集。
通过掌握本文介绍的这些技巧和方法，相信读者能够更加自如地运用Pandas进行数据分组和分析，从而在数据科学和分析领域取得更好的成果。