极客笔记Pandas GroupBy 和平均值计算：数据分析的利器
Pandas 是一个强大的数据处理和分析库，其中 GroupBy 操作和平均值计算是数据分析中常用的技术。本文将深入探讨 Pandas 中的 GroupBy 功能以及如何结合平均值计算来进行数据分析。我们将通过详细的解释和实例代码来帮助您掌握这些重要的数据处理技巧。
1. Pandas GroupBy 简介
GroupBy 操作允许我们将数据按照一个或多个列进行分组，然后对每个组应用特定的操作。这在数据分析中非常有用，因为它可以帮助我们发现数据中的模式和趋势。
让我们从一个简单的例子开始：
import pandas as pd
# 创建示例数据
data = {
'name': ['Alice', 'Bob', 'Charlie', 'Alice', 'Bob'],
'age': [25, 30, 35, 25, 30],
'score': [80, 85, 90, 75, 95]
}
df = pd.DataFrame(data)
# 按 name 列进行分组并计算平均分数
result = df.groupby('name')['score'].mean()
print("Average scores by name on pandasdataframe.com:")
print(result)
Output:
在这个例子中，我们创建了一个包含姓名、年龄和分数的 DataFrame。然后，我们使用 groupby('name') 按姓名分组，并计算每个人的平均分数。
2. GroupBy 对象的基本操作
当我们执行 GroupBy 操作时，Pandas 会返回一个 GroupBy 对象。这个对象本身并不包含实际的数据，而是一个”中间”对象，我们可以在其上执行各种操作。
2.1 查看分组信息
我们可以使用 groups 属性来查看分组的详细信息：
import pandas as pd
data = {
'category': ['A', 'B', 'A', 'B', 'A', 'C'],
'value': [1, 2, 3, 4, 5, 6]
}
df = pd.DataFrame(data)
grouped = df.groupby('category')
print("Group information on pandasdataframe.com:")
print(grouped.groups)
Output:
这个代码会显示每个分组包含的行索引。
2.2 遍历分组
我们可以直接遍历 GroupBy 对象来访问每个分组：
import pandas as pd
data = {
'category': ['A', 'B', 'A', 'B', 'A', 'C'],
'value': [1, 2, 3, 4, 5, 6]
}
df = pd.DataFrame(data)
grouped = df.groupby('category')
print("Iterating through groups on pandasdataframe.com:")
for name, group in grouped:
print(f"Group: {name}")
print(group)
print()
Output:
这个代码会打印出每个分组的名称和对应的数据。
3. 聚合函数
GroupBy 对象支持多种聚合函数，如 mean()、sum()、count() 等。这些函数可以帮助我们快速计算分组数据的统计信息。
3.1 基本聚合
让我们看一个使用多个聚合函数的例子：
import pandas as pd
data = {
'department': ['Sales', 'IT', 'Sales', 'IT', 'Sales'],
'employee': ['John', 'Jane', 'Mike', 'Anna', 'Chris'],
'salary': [50000, 60000, 55000, 65000, 52000]
}
df = pd.DataFrame(data)
result = df.groupby('department').agg({
'salary': ['mean', 'min', 'max'],
'employee': 'count'
})
print("Aggregation results on pandasdataframe.com:")
print(result)
Output:
这个例子展示了如何对不同的列应用不同的聚合函数。我们计算了每个部门的平均工资、最低工资、最高工资，以及员工数量。
3.2 自定义聚合函数
除了内置的聚合函数，我们还可以使用自定义函数进行聚合：
import pandas as pd
import numpy as np
data = {
'category': ['A', 'B', 'A', 'B', 'A', 'C'],
'value': [1, 2, 3, 4, 5, 6]
}
df = pd.DataFrame(data)
def custom_agg(x):
return np.percentile(x, 75) - np.percentile(x, 25)
result = df.groupby('category')['value'].agg([
('mean', 'mean'),
('median', 'median'),
('iqr', custom_agg)
])
print("Custom aggregation on pandasdataframe.com:")
print(result)
Output:
在这个例子中，我们定义了一个自定义函数来计算四分位距（IQR），并将其与内置的平均值和中位数函数一起使用。
4. 多列分组
GroupBy 操作不仅限于单列分组，我们还可以按多个列进行分组：
import pandas as pd
data = {
'department': ['Sales', 'IT', 'Sales', 'IT', 'Sales'],
'team': ['A', 'B', 'A', 'A', 'B'],
'employee': ['John', 'Jane', 'Mike', 'Anna', 'Chris'],
'salary': [50000, 60000, 55000, 65000, 52000]
}
df = pd.DataFrame(data)
result = df.groupby(['department', 'team'])['salary'].mean()
print("Multi-column grouping on pandasdataframe.com:")
print(result)
Output:
这个例子展示了如何按部门和团队进行分组，然后计算每个组的平均工资。
5. 处理缺失值
在进行 GroupBy 操作时，我们可能会遇到缺失值。Pandas 提供了多种方法来处理这种情况：
import pandas as pd
import numpy as np
data = {
'category': ['A', 'B', 'A', 'B', 'A', 'C'],
'value': [1, 2, np.nan, 4, 5, np.nan]
}
df = pd.DataFrame(data)
# 默认情况下，mean() 会忽略 NaN 值
result1 = df.groupby('category')['value'].mean()
# 使用 skipna=False 来包含 NaN 值
result2 = df.groupby('category')['value'].mean(skipna=False)
print("Handling missing values on pandasdataframe.com:")
print("Default behavior:")
print(result1)
print("\nIncluding NaN values:")
print(result2)
这个例子展示了在计算平均值时如何处理缺失值。默认情况下，mean() 函数会忽略 NaN 值，但我们可以通过设置 skipna=False 来改变这个行为。
6. 分组转换
除了聚合操作，GroupBy 还支持转换操作。转换操作会返回一个与原始 DataFrame 大小相同的结果。
import pandas as pd
data = {
'category': ['A', 'B', 'A', 'B', 'A', 'C'],
'value': [1, 2, 3, 4, 5, 6]
}
df = pd.DataFrame(data)
# 计算每个类别的累积和
result = df.groupby('category')['value'].transform('cumsum')
print("Group transformation on pandasdataframe.com:")
print(result)
Output:
在这个例子中，我们计算了每个类别的累积和。结果是一个与原始 DataFrame 大小相同的 Series。
7. 分组过滤
GroupBy 还允许我们基于组级别的条件来过滤数据：
import pandas as pd
data = {
'category': ['A', 'B', 'A', 'B', 'A', 'C'],
'value': [1, 2, 3, 4, 5, 6]
}
df = pd.DataFrame(data)
# 只保留平均值大于 3 的组
result = df.groupby('category').filter(lambda x: x['value'].mean() > 3)
print("Group filtering on pandasdataframe.com:")
print(result)
Output:
这个例子展示了如何只保留平均值大于 3 的组。
8. 分组应用
apply() 方法允许我们对每个组应用任意的 Python 函数：
import pandas as pd
data = {
'category': ['A', 'B', 'A', 'B', 'A', 'C'],
'value': [1, 2, 3, 4, 5, 6]
}
df = pd.DataFrame(data)
def normalize(group):
return (group - group.mean()) / group.std()
result = df.groupby('category')['value'].apply(normalize)
print("Group apply on pandasdataframe.com:")
print(result)
Output:
在这个例子中，我们对每个组的 ‘value’ 列进行了标准化处理。
9. 分组和时间序列数据
GroupBy 操作在处理时间序列数据时特别有用：
import pandas as pd
import numpy as np
# 创建一个日期范围
dates = pd.date_range(start='2023-01-01', end='2023-12-31', freq='D')
data = {
'date': dates,
'value': np.random.randn(len(dates))
}
df = pd.DataFrame(data)
# 按月分组并计算平均值
result = df.groupby(df['date'].dt.to_period('M'))['value'].mean()
print("Time series grouping on pandasdataframe.com:")
print(result)
Output:
这个例子展示了如何按月对时间序列数据进行分组和计算平均值。
10. 高级 GroupBy 技巧
10.1 多级索引
GroupBy 操作可以生成多级索引的结果：
import pandas as pd
data = {
'category': ['A', 'B', 'A', 'B', 'A', 'C'],
'subcategory': ['X', 'Y', 'X', 'Z', 'Y', 'X'],
'value': [1, 2, 3, 4, 5, 6]
}
df = pd.DataFrame(data)
result = df.groupby(['category', 'subcategory']).agg({
'value': ['mean', 'sum', 'count']
})
print("Multi-level indexing on pandasdataframe.com:")
print(result)
Output:
这个例子展示了如何创建一个具有多级索引的结果 DataFrame。
10.2 重置索引
有时我们可能想要将 GroupBy 操作的结果转换为普通的 DataFrame：
import pandas as pd
data = {
'category': ['A', 'B', 'A', 'B', 'A', 'C'],
'value': [1, 2, 3, 4, 5, 6]
}
df = pd.DataFrame(data)
result = df.groupby('category')['value'].mean().reset_index()
print("Resetting index on pandasdataframe.com:")
print(result)
Output:
reset_index() 方法将分组键转换为普通列。
结论
Pandas 的 GroupBy 功能和平均值计算是数据分析中非常强大的工具。通过本文的详细介绍和实例代码，我们深入探讨了如何使用这些功能来处理和分析数据。从基本的分组操作到高级技巧，我们涵盖了广泛的主题，包括聚合函数、多列分组、处理缺失值、分组转换、过滤和应用自定义函数等。
掌握这些技能将使您能够更有效地处理复杂的数据集，发现数据中的模式和趋势，并从中获得有价值的见解。无论您是数据分析师、数据科学家还是任何需要处理数据的专业人士，这些 Pandas 技巧都将成为您工具箱中不可或缺的一部分。
随着您继续探索 Pandas 的功能，您会发现还有更多高级特性和优化技巧可以进一步提升您的数据处理能力。持续学习和实践将帮助您在数据分析领域不断进步，成为一名出色的数据专家。