极客笔记Pandas GroupBy Sum：高效数据分组汇总技巧
Pandas是Python中强大的数据处理库，其中GroupBy和Sum操作是数据分析中常用的功能组合。本文将深入探讨Pandas中GroupBy和Sum的使用方法，帮助您更好地理解和应用这些功能，提高数据处理效率。
1. GroupBy基础
GroupBy操作允许我们将数据按照某个或多个列进行分组，然后对每个组应用特定的操作。在本文中，我们主要关注如何结合Sum操作来对分组后的数据进行汇总。
让我们从一个简单的例子开始：
import pandas as pd
# 创建示例数据
data = {
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'other.com', 'other.com'],
'category': ['A', 'B', 'A', 'B'],
'visits': [100, 150, 200, 250]
}
df = pd.DataFrame(data)
# 按网站分组并计算访问量总和
result = df.groupby('website')['visits'].sum()
print(result)
Output:
在这个例子中，我们创建了一个包含网站、类别和访问量的DataFrame。然后，我们使用groupby('website')按网站进行分组，并对’visits’列应用sum()函数。这将计算每个网站的总访问量。
2. 多列分组
有时，我们需要按多个列进行分组。Pandas允许我们轻松地实现这一点：
import pandas as pd
# 创建示例数据
data = {
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'other.com', 'other.com'] * 2,
'category': ['A', 'B', 'A', 'B', 'A', 'B', 'A', 'B'],
'device': ['mobile', 'mobile', 'desktop', 'desktop', 'mobile', 'desktop', 'mobile', 'desktop'],
'visits': [100, 150, 200, 250, 120, 180, 220, 280]
}
df = pd.DataFrame(data)
# 按网站和设备类型分组，并计算访问量总和
result = df.groupby(['website', 'device'])['visits'].sum()
print(result)
Output:
在这个例子中，我们按网站和设备类型进行分组，然后计算每个组合的访问量总和。这允许我们更细致地分析数据，例如了解每个网站在不同设备上的表现。
3. 使用agg()函数进行多种聚合
有时，我们可能想要同时计算多个聚合指标。agg()函数允许我们在一个操作中执行多种聚合：
import pandas as pd
# 创建示例数据
data = {
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'other.com', 'other.com'] * 3,
'category': ['A', 'B', 'A', 'B'] * 3,
'visits': [100, 150, 200, 250, 120, 180, 220, 280, 110, 170, 210, 260]
}
df = pd.DataFrame(data)
# 按网站分组，并计算访问量的总和、平均值和最大值
result = df.groupby('website')['visits'].agg(['sum', 'mean', 'max'])
print(result)
Output:
这个例子展示了如何使用agg()函数同时计算每个网站的访问量总和、平均值和最大值。这种方法可以帮助我们在一次操作中获得多个有用的统计指标。
4. 自定义聚合函数
除了内置的聚合函数，Pandas还允许我们使用自定义函数进行聚合：
import pandas as pd
# 创建示例数据
data = {
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'other.com', 'other.com'] * 2,
'category': ['A', 'B', 'A', 'B', 'A', 'B', 'A', 'B'],
'visits': [100, 150, 200, 250, 120, 180, 220, 280]
}
df = pd.DataFrame(data)
# 自定义聚合函数：计算访问量的中位数
def median_visits(x):
return x.median()
# 按网站分组，并应用自定义聚合函数
result = df.groupby('website')['visits'].agg(median_visits)
print(result)
Output:
在这个例子中，我们定义了一个自定义函数median_visits来计算访问量的中位数。然后，我们将这个函数传递给agg()方法，以计算每个网站的访问量中位数。
5. 重置索引
在进行GroupBy操作后，结果通常会有一个多级索引。有时，我们可能希望将结果转换为普通的DataFrame：
import pandas as pd
# 创建示例数据
data = {
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'other.com', 'other.com'] * 2,
'category': ['A', 'B', 'A', 'B', 'A', 'B', 'A', 'B'],
'visits': [100, 150, 200, 250, 120, 180, 220, 280]
}
df = pd.DataFrame(data)
# 按网站和类别分组，计算访问量总和，然后重置索引
result = df.groupby(['website', 'category'])['visits'].sum().reset_index()
print(result)
Output:
这个例子展示了如何使用reset_index()方法将GroupBy操作的结果转换为普通的DataFrame。这在需要进一步处理或可视化结果时特别有用。
6. 处理缺失值
在进行GroupBy和Sum操作时，我们可能会遇到缺失值。Pandas提供了多种处理缺失值的方法：
import pandas as pd
import numpy as np
# 创建包含缺失值的示例数据
data = {
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'other.com', 'other.com'] * 2,
'category': ['A', 'B', 'A', 'B', 'A', 'B', 'A', 'B'],
'visits': [100, np.nan, 200, 250, 120, 180, np.nan, 280]
}
df = pd.DataFrame(data)
# 按网站分组，计算访问量总和，忽略缺失值
result = df.groupby('website')['visits'].sum()
print("Sum ignoring NaN values:")
print(result)
# 按网站分组，计算访问量总和，将缺失值视为0
result_fill_zero = df.groupby('website')['visits'].sum(min_count=1)
print("\nSum treating NaN as 0:")
print(result_fill_zero)
Output:
这个例子展示了两种处理缺失值的方法：默认情况下，sum()函数会忽略缺失值；使用min_count=1参数可以将缺失值视为0进行计算。
7. 使用transform()进行组内计算
有时，我们可能需要计算每个组的总和，但保持原始DataFrame的结构。transform()方法可以帮助我们实现这一点：
import pandas as pd
# 创建示例数据
data = {
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'other.com', 'other.com'] * 2,
'category': ['A', 'B', 'A', 'B', 'A', 'B', 'A', 'B'],
'visits': [100, 150, 200, 250, 120, 180, 220, 280]
}
df = pd.DataFrame(data)
# 使用transform计算每个网站的总访问量
df['total_visits'] = df.groupby('website')['visits'].transform('sum')
print(df)
Output:
在这个例子中，我们使用transform('sum')方法为每个网站计算总访问量，并将结果添加为新的列。这允许我们在保持原始数据结构的同时进行组内计算。
8. 按时间周期分组
在处理时间序列数据时，我们经常需要按不同的时间周期进行分组和汇总：
import pandas as pd
# 创建包含日期的示例数据
data = {
'date': pd.date_range(start='2023-01-01', end='2023-12-31', freq='D'),
'website': ['pandasdataframe.com', 'other.com'] * 182 + ['pandasdataframe.com'],
'visits': [100 + i for i in range(365)]
}
df = pd.DataFrame(data)
# 按月份分组并计算每个网站的月访问量
monthly_visits = df.groupby([df['date'].dt.to_period('M'), 'website'])['visits'].sum().unstack()
print(monthly_visits)
Output:
这个例子展示了如何使用日期的月份信息进行分组，并计算每个网站的月访问量。我们使用dt.to_period('M')将日期转换为月份周期，然后使用unstack()方法将结果转换为更易读的格式。
9. 使用groupby()和apply()进行复杂操作
对于更复杂的操作，我们可以结合使用groupby()和apply()方法：
import pandas as pd
# 创建示例数据
data = {
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'other.com', 'other.com'] * 3,
'category': ['A', 'B', 'A', 'B'] * 3,
'visits': [100, 150, 200, 250, 120, 180, 220, 280, 110, 170, 210, 260]
}
df = pd.DataFrame(data)
# 定义一个复杂的操作函数
def complex_operation(group):
total_visits = group['visits'].sum()
avg_visits = group['visits'].mean()
return pd.Series({
'total_visits': total_visits,
'avg_visits': avg_visits,
'visit_ratio': total_visits / avg_visits
})
# 应用复杂操作
result = df.groupby('website').apply(complex_operation)
print(result)
在这个例子中，我们定义了一个复杂的操作函数，该函数计算总访问量、平均访问量和访问比率。然后，我们使用apply()方法将这个函数应用到每个分组。
10. 处理大型数据集
当处理大型数据集时，内存使用可能成为一个问题。Pandas提供了一些技巧来优化内存使用：
import pandas as pd
# 假设我们有一个大型CSV文件
# 使用chunksize参数分块读取数据
chunk_size = 1000000 # 每次读取100万行
total_visits = {}
for chunk in pd.read_csv('large_data.csv', chunksize=chunk_size):
# 假设CSV文件包含'website'和'visits'列
group_sum = chunk.groupby('website')['visits'].sum()
for website, visits in group_sum.items():
if website in total_visits:
total_visits[website] += visits
else:
total_visits[website] = visits
# 将结果转换为DataFrame
result = pd.DataFrame.from_dict(total_visits, orient='index', columns=['total_visits'])
result.index.name = 'website'
print(result)
这个例子展示了如何使用chunksize参数分块读取大型CSV文件，并逐步计算每个网站的总访问量。这种方法可以有效减少内存使用，使我们能够处理超出可用内存的数据集。
11. 使用nunique()计算唯一值数量
有时，我们可能需要计算每个组中唯一值的数量：
import pandas as pd
# 创建示例数据
data = {
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'other.com', 'other.com'] * 3,
'user_id': [1, 2, 3, 4, 2, 3, 5, 6, 1, 4, 5, 7],
'visits': [100, 150, 200, 250, 120, 180, 220, 280, 110, 170, 210, 260]
}
df = pd.DataFrame(data)
# 计算每个网站的唯一用户数
unique_users = df.groupby('website')['user_id'].nunique()
print(unique_users)
Output:
这个例子展示了如何使用nunique()方法计算每个网站的唯一用户数。这在分析用户行为时特别有用，例如计算每个网站的独立访客数。
12. 使用filter()筛选组
Pandas的filter()方法允许我们基于组级别的条件筛选数据：
import pandas as pd
# 创建示例数据
data = {
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'other.com', 'other.com'] * 3,
'category': ['A', 'B', 'A', 'B'] * 3,
'visits': [100, 150, 200, 250, 120, 180, 220, 280, 110, 170, 210, 260]
}
df = pd.DataFrame(data)
# 筛选出总访问量超过1000的网站
filtered_df = df.groupby('website').filter(lambda x: x['visits'].sum() > 1000)
print(filtered_df)
这个例子展示了如何使用filter()方法筛选出总访问量超过1000的网站的所有数据。这种方法可以帮助我们快速识别和分析高流量网站。
13. 使用groupby()和cumsum()计算累计和
累计和是数据分析中常用的一种计算方式，可以帮助我们了解数据的增长趋势：
import pandas as pd
# 创建示例数据
data = {
'date': pd.date_range(start='2023-01-01', periods=10),
'website': ['pandasdataframe.com', 'other.com'] * 5,
'visits': [100, 150, 200, 250, 300, 350, 400, 450, 500, 550]
}
df = pd.DataFrame(data)
# 计算每个网站的累计访问量
df['cumulative_visits'] = df.groupby('website')['visits'].cumsum()
print(df)
这个例子展示了如何使用cumsum()方法计算每个网站的累计访问量。这种方法可以帮助我们追踪网站流量的增长情况。
14. 使用groupby()和diff()计算差值
计算差值可以帮助我们了解数据的变化情况：
import pandas as pd
# 创建示例数据
data = {
'date': pd.date_range(start='2023-01-01', periods=10),
'website': ['pandasdataframe.com', 'other.com'] * 5,
'visits': [100, 150, 200, 250, 300, 350, 400, 450, 500, 550]
}
df = pd.DataFrame(data)
# 计算每个网站的访问量变化
df['visits_change'] = df.groupby('website')['visits'].diff()
print(df)
这个例子展示了如何使用diff()方法计算每个网站的访问量变化。这可以帮助我们识别访问量的突然增加或减少。
15. 使用groupby()和pct_change()计算百分比变化
百分比变化可以帮助我们更直观地理解数据的相对变化：
import pandas as pd
# 创建示例数据
data = {
'date': pd.date_range(start='2023-01-01', periods=10),
'website': ['pandasdataframe.com', 'other.com'] * 5,
'visits': [100, 150, 200, 250, 300, 350, 400, 450, 500, 550]
}
df = pd.DataFrame(data)
# 计算每个网站的访问量百分比变化
df['visits_pct_change'] = df.groupby('website')['visits'].pct_change()
print(df)
这个例子展示了如何使用pct_change()方法计算每个网站的访问量百分比变化。这种方法可以帮助我们比较不同规模网站的相对增长情况。
16. 使用groupby()和rolling()进行滚动计算
滚动计算可以帮助我们了解数据的短期趋势：
import pandas as pd
# 创建示例数据
data = {
'date': pd.date_range(start='2023-01-01', periods=20),
'website': ['pandasdataframe.com', 'other.com'] * 10,
'visits': [100 + i * 10 for i in range(20)]
}
df = pd.DataFrame(data)
# 计算每个网站的3天滚动平均访问量
df['rolling_avg_visits'] = df.groupby('website')['visits'].rolling(window=3).mean().reset_index(0, drop=True)
print(df)
这个例子展示了如何使用rolling()方法计算每个网站的3天滚动平均访问量。这种方法可以帮助我们平滑短期波动，更好地观察数据趋势。
17. 使用groupby()和agg()进行多列聚合
有时我们需要对多个列进行不同的聚合操作：
import pandas as pd
# 创建示例数据
data = {
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'other.com', 'other.com'] * 2,
'category': ['A', 'B', 'A', 'B', 'A', 'B', 'A', 'B'],
'visits': [100, 150, 200, 250, 120, 180, 220, 280],
'duration': [5, 7, 6, 8, 5, 9, 7, 10]
}
df = pd.DataFrame(data)
# 对不同列进行不同的聚合操作
result = df.groupby('website').agg({
'visits': 'sum',
'duration': ['mean', 'max']
})
print(result)
这个例子展示了如何使用agg()方法对不同列进行不同的聚合操作。我们计算了每个网站的总访问量、平均停留时间和最长停留时间。
18. 使用groupby()和size()计算组大小
计算每个组的大小可以帮助我们了解数据的分布情况：
import pandas as pd
# 创建示例数据
data = {
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'other.com', 'other.com'] * 3,
'category': ['A', 'B', 'A', 'B', 'C', 'C', 'B', 'A', 'C', 'A', 'B', 'C'],
'visits': [100, 150, 200, 250, 120, 180, 220, 280, 110, 170, 210, 260]
}
df = pd.DataFrame(data)
# 计算每个网站的类别数量
category_counts = df.groupby('website')['category'].size().unstack(fill_value=0)
print(category_counts)
这个例子展示了如何使用size()方法计算每个网站的类别数量。这种方法可以帮助我们了解每个网站的内容分布情况。
19. 使用groupby()和nlargest()找出每组最大的N个值
有时我们需要找出每个组中最大的几个值：
import pandas as pd
# 创建示例数据
data = {
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'other.com', 'other.com'] * 3,
'page': ['home', 'about', 'contact', 'products'] * 3,
'visits': [100, 150, 200, 250, 120, 180, 220, 280, 110, 170, 210, 260]
}
df = pd.DataFrame(data)
# 找出每个网站访问量最高的两个页面
top_pages = df.groupby('website').apply(lambda x: x.nlargest(2, 'visits')).reset_index(drop=True)
print(top_pages)
这个例子展示了如何使用nlargest()方法找出每个网站访问量最高的两个页面。这种方法可以帮助我们快速识别每个网站的热门页面。
20. 使用groupby()和shift()计算组内差值
计算组内差值可以帮助我们了解数据的连续变化：
import pandas as pd
# 创建示例数据
data = {
'date': pd.date_range(start='2023-01-01', periods=10),
'website': ['pandasdataframe.com', 'other.com'] * 5,
'visits': [100, 150, 200, 250, 300, 350, 400, 450, 500, 550]
}
df = pd.DataFrame(data)
# 计算每个网站的日环比增长
df['daily_growth'] = df.groupby('website')['visits'].shift()
df['daily_growth'] = df['visits'] - df['daily_growth']
print(df)
这个例子展示了如何使用shift()方法计算每个网站的日环比增长。这种方法可以帮助我们追踪网站流量的日常变化情况。
总结：
本文详细介绍了Pandas中GroupBy和Sum操作的各种高级用法。我们探讨了基本的分组汇总、多列分组、自定义聚合函数、处理缺失值、时间序列分组等多个方面。通过这些技巧，您可以更有效地处理和分析复杂的数据集，提取有价值的信息。
记住，GroupBy和Sum操作是数据分析中非常强大的工具，可以帮助您快速洞察数据的结构和模式。随着实践的增加，您将能够更灵活地运用这些技巧，解决各种复杂的数据处理问题。