当前位置：极客笔记 > Pandas > Pandas 问答 > Pandas GroupBy 和 Mean 操作：数据分组与均值计算详解

Pandas GroupBy 和 Mean 操作：数据分组与均值计算详解

Pandas GroupBy 和 Mean 操作：数据分组与均值计算详解

参考：pandas groupby mean

Pandas是Python中强大的数据处理库，其中GroupBy和Mean操作是进行数据分析时常用的功能。本文将深入探讨Pandas中的GroupBy和Mean操作，介绍它们的用法、特点以及在实际数据处理中的应用。

1. GroupBy操作简介

GroupBy操作是Pandas中用于数据分组的重要功能。它允许我们根据一个或多个列的值将数据分成不同的组，然后对每个组进行独立的操作。这种分组操作在数据分析中非常有用，可以帮助我们发现数据中的模式和趋势。

1.1 基本用法

让我们从一个简单的例子开始：

import pandas as pd

# 创建示例数据
data = {
    'name': ['Alice', 'Bob', 'Charlie', 'Alice', 'Bob'],
    'age': [25, 30, 35, 25, 30],
    'score': [80, 85, 90, 75, 95]
}
df = pd.DataFrame(data)

# 按name列进行分组
grouped = df.groupby('name')

# 打印分组结果
print(grouped.groups)

Output:

Pandas GroupBy 和 Mean 操作：数据分组与均值计算详解

在这个例子中，我们创建了一个包含姓名、年龄和分数的DataFrame，然后使用groupby()方法按姓名进行分组。grouped.groups会显示每个组中包含的行索引。

1.2 多列分组

Pandas还支持按多个列进行分组：

import pandas as pd

# 创建示例数据
data = {
    'name': ['Alice', 'Bob', 'Charlie', 'Alice', 'Bob'],
    'city': ['New York', 'London', 'Paris', 'New York', 'London'],
    'score': [80, 85, 90, 75, 95]
}
df = pd.DataFrame(data)

# 按name和city列进行分组
grouped = df.groupby(['name', 'city'])

# 打印分组结果
print(grouped.groups)

Output:

Pandas GroupBy 和 Mean 操作：数据分组与均值计算详解

这个例子展示了如何按多个列（姓名和城市）进行分组。这种方法可以帮助我们更精细地划分数据。

2. Mean操作详解

Mean操作用于计算数值的平均值。在Pandas中，我们可以轻松地计算整个DataFrame或特定列的平均值，也可以结合GroupBy操作计算分组后的平均值。

2.1 基本用法

以下是计算DataFrame中特定列平均值的示例：

import pandas as pd

# 创建示例数据
data = {
    'name': ['Alice', 'Bob', 'Charlie', 'David'],
    'age': [25, 30, 35, 40],
    'score': [80, 85, 90, 95]
}
df = pd.DataFrame(data)

# 计算age列的平均值
mean_age = df['age'].mean()

print(f"Average age: {mean_age}")

Output:

Pandas GroupBy 和 Mean 操作：数据分组与均值计算详解

这个例子计算了’age’列的平均值。mean()函数可以直接应用于Series对象（如df[‘age’]）或整个DataFrame。

2.2 处理缺失值

在计算平均值时，处理缺失值（NaN）是一个重要的考虑因素：

import pandas as pd
import numpy as np

# 创建包含缺失值的示例数据
data = {
    'name': ['Alice', 'Bob', 'Charlie', 'David'],
    'age': [25, np.nan, 35, 40],
    'score': [80, 85, np.nan, 95]
}
df = pd.DataFrame(data)

# 计算age列的平均值，忽略缺失值
mean_age = df['age'].mean()

# 计算score列的平均值，包括缺失值
mean_score_with_nan = df['score'].mean(skipna=False)

print(f"Average age (ignoring NaN): {mean_age}")
print(f"Average score (including NaN): {mean_score_with_nan}")

Output:

Pandas GroupBy 和 Mean 操作：数据分组与均值计算详解

在这个例子中，我们展示了如何处理包含缺失值的数据。默认情况下，mean()函数会忽略缺失值。使用skipna=False参数可以在计算中包含缺失值，这会导致结果为NaN。

3. 结合GroupBy和Mean操作

GroupBy和Mean操作的结合使用是数据分析中的常见场景，它允许我们计算不同组的平均值。

3.1 基本分组平均值计算

让我们看一个简单的例子：

import pandas as pd

# 创建示例数据
data = {
    'category': ['A', 'B', 'A', 'B', 'A'],
    'value': [10, 20, 15, 25, 30]
}
df = pd.DataFrame(data)

# 按category分组并计算value的平均值
grouped_mean = df.groupby('category')['value'].mean()

print(grouped_mean)

Output:

Pandas GroupBy 和 Mean 操作：数据分组与均值计算详解

这个例子展示了如何按’category’列分组，然后计算每个组中’value’列的平均值。

3.2 多列平均值计算

我们还可以同时计算多个列的平均值：

import pandas as pd

# 创建示例数据
data = {
    'category': ['A', 'B', 'A', 'B', 'A'],
    'value1': [10, 20, 15, 25, 30],
    'value2': [100, 200, 150, 250, 300]
}
df = pd.DataFrame(data)

# 按category分组并计算多个列的平均值
grouped_mean = df.groupby('category').mean()

print(grouped_mean)

Output:

Pandas GroupBy 和 Mean 操作：数据分组与均值计算详解

这个例子展示了如何计算分组后多个数值列的平均值。

3.3 使用agg函数进行更复杂的操作

agg函数允许我们在分组后应用多个聚合函数：

import pandas as pd

# 创建示例数据
data = {
    'category': ['A', 'B', 'A', 'B', 'A'],
    'value': [10, 20, 15, 25, 30]
}
df = pd.DataFrame(data)

# 使用agg函数计算多个统计量
result = df.groupby('category')['value'].agg(['mean', 'min', 'max'])

print(result)

Output:

Pandas GroupBy 和 Mean 操作：数据分组与均值计算详解

这个例子展示了如何使用agg函数同时计算每个组的平均值、最小值和最大值。

4. 高级GroupBy和Mean操作技巧

4.1 按时间间隔分组

在处理时间序列数据时，我们经常需要按时间间隔进行分组：

import pandas as pd

# 创建包含日期的示例数据
data = {
    'date': pd.date_range(start='2023-01-01', periods=10),
    'value': [10, 15, 20, 25, 30, 35, 40, 45, 50, 55]
}
df = pd.DataFrame(data)

# 按月分组并计算平均值
monthly_mean = df.groupby(df['date'].dt.to_period('M'))['value'].mean()

print(monthly_mean)

Output:

Pandas GroupBy 和 Mean 操作：数据分组与均值计算详解

这个例子展示了如何按月份对数据进行分组，并计算每月的平均值。

4.2 使用自定义函数

我们可以使用自定义函数来进行更复杂的分组操作：

import pandas as pd

# 创建示例数据
data = {
    'name': ['Alice', 'Bob', 'Charlie', 'David', 'Eve'],
    'score': [85, 92, 78, 95, 88]
}
df = pd.DataFrame(data)

# 定义自定义分组函数
def grade(score):
    if score >= 90:
        return 'A'
    elif score >= 80:
        return 'B'
    else:
        return 'C'

# 使用自定义函数进行分组
grouped = df.groupby(df['score'].apply(grade))

# 计算每个分数等级的平均分
mean_scores = grouped['score'].mean()

print(mean_scores)

Output:

Pandas GroupBy 和 Mean 操作：数据分组与均值计算详解

这个例子展示了如何使用自定义函数将分数分为不同的等级，然后计算每个等级的平均分。

4.3 处理多层索引

当使用多个列进行分组时，结果会产生多层索引：

import pandas as pd

# 创建示例数据
data = {
    'category': ['A', 'A', 'B', 'B', 'A'],
    'subcategory': ['X', 'Y', 'X', 'Y', 'X'],
    'value': [10, 15, 20, 25, 30]
}
df = pd.DataFrame(data)

# 按多个列分组并计算平均值
grouped_mean = df.groupby(['category', 'subcategory'])['value'].mean()

print(grouped_mean)

# 重置索引
reset_index = grouped_mean.reset_index()
print(reset_index)

Output:

Pandas GroupBy 和 Mean 操作：数据分组与均值计算详解

这个例子展示了如何处理多层索引的结果，以及如何使用reset_index()将多层索引转换为普通列。

5. GroupBy和Mean在数据分析中的应用

5.1 销售数据分析

让我们看一个更实际的例子，分析销售数据：

import pandas as pd

# 创建销售数据
sales_data = {
    'date': pd.date_range(start='2023-01-01', periods=100),
    'product': ['A', 'B', 'C'] * 33 + ['A'],
    'region': ['North', 'South', 'East', 'West'] * 25,
    'sales': [100 + i * 2 for i in range(100)]
}
df = pd.DataFrame(sales_data)

# 按产品和地区分组，计算平均销售额
avg_sales = df.groupby(['product', 'region'])['sales'].mean()

print(avg_sales)

# 计算每月每种产品的总销售额
monthly_sales = df.groupby([df['date'].dt.to_period('M'), 'product'])['sales'].sum()

print(monthly_sales)

Output:

Pandas GroupBy 和 Mean 操作：数据分组与均值计算详解

这个例子展示了如何分析销售数据，计算不同产品在不同地区的平均销售额，以及每月每种产品的总销售额。

5.2 学生成绩分析

另一个常见的应用是分析学生成绩：

import pandas as pd
import numpy as np

# 创建学生成绩数据
np.random.seed(0)
students = ['Student' + str(i) for i in range(1, 101)]
subjects = ['Math', 'Science', 'English', 'History']
grades = np.random.randint(60, 100, size=(100, 4))

df = pd.DataFrame(grades, columns=subjects, index=students)
df['Gender'] = np.random.choice(['Male', 'Female'], size=100)

# 计算每个学生的平均成绩
df['Average'] = df[subjects].mean(axis=1)

# 按性别分组，计算每个科目的平均成绩
gender_subject_avg = df.groupby('Gender')[subjects].mean()

print(gender_subject_avg)

# 找出每个科目的最高分
top_scores = df[subjects].max()

print(top_scores)

Output:

Pandas GroupBy 和 Mean 操作：数据分组与均值计算详解

这个例子展示了如何分析学生成绩数据，包括计算每个学生的平均成绩，按性别分组计算每个科目的平均成绩，以及找出每个科目的最高分。

6. GroupBy和Mean操作的性能考虑

在处理大型数据集时，GroupBy和Mean操作的性能是一个重要考虑因素。以下是一些提高性能的技巧：

6.1 使用分类数据类型

对于包含重复值的列，使用分类数据类型可以显著提高性能：

import pandas as pd
import numpy as np

# 创建大型数据集
n = 1000000
df = pd.DataFrame({
    'category': np.random.choice(['A', 'B', 'C', 'D'], n),
    'value': np.random.randn(n)
})

# 将category列转换为分类类型
df['category'] = df['category'].astype('category')

# 按category分组并计算平均值
result = df.groupby('category')['value'].mean()

print(result)

这个例子展示了如何将分组列转换为分类类型，这可以在处理大型数据集时提高性能。

6.2 使用numba加速

对于自定义的聚合函数，可以使用numba来加速计算：

import pandas as pd
import numpy as np
from numba import jit

# 创建示例数据
df = pd.DataFrame({
    'group': np.random.choice(['A', 'B', 'C'], 1000000),
    'value': np.random.randn(1000000)
})

# 使用numba加速的自定义函数
@jit(nopython=True)
def custom_mean(values):
    return values.mean()

# 应用加速后的函数
result = df.groupby('group')['value'].agg(custom_mean)

print(result)

这个例子展示了如何使用numba来加速自定义聚合函数的计算。

7. 处理缺失值和异常值

在进行GroupBy和Mean操作时，处理缺失值和异常值是很重要的：

7.1 处理缺失值

import pandas as pd
import numpy as np

# 创建包含缺失值的数据
data = {
    'group': ['A', 'A', 'B', 'B', 'C'],
    'value': [1, np.nan, 3, 4, np.nan]}
df = pd.DataFrame(data)

# 计算平均值，忽略缺失值
result = df.groupby('group')['value'].mean()

print(result)

# 填充缺失值后再计算平均值
df_filled = df.fillna(df.mean())
result_filled = df_filled.groupby('group')['value'].mean()

print(result_filled)

这个例子展示了如何在存在缺失值的情况下计算分组平均值，以及如何在计算前填充缺失值。

7.2 处理异常值

import pandas as pd
import numpy as np

# 创建包含异常值的数据
data = {
    'group': ['A', 'A', 'B', 'B', 'C', 'C'],
    'value': [1, 2, 3, 1000, 5, 6]
}
df = pd.DataFrame(data)

# 使用四分位数范围(IQR)方法识别异常值
def remove_outliers(group):
    Q1 = group.quantile(0.25)
    Q3 = group.quantile(0.75)
    IQR = Q3 - Q1
    lower_bound = Q1 - 1.5 * IQR
    upper_bound = Q3 + 1.5 * IQR
    return group[(group >= lower_bound) & (group <= upper_bound)]

# 移除异常值后计算平均值
result = df.groupby('group')['value'].apply(remove_outliers).mean()

print(result)

Output:

Pandas GroupBy 和 Mean 操作：数据分组与均值计算详解

这个例子展示了如何使用四分位数范围(IQR)方法识别和移除异常值，然后计算分组平均值。

8. GroupBy和Mean在时间序列数据中的应用

时间序列数据分析是GroupBy和Mean操作的一个重要应用领域：

8.1 重采样和聚合

import pandas as pd
import numpy as np

# 创建时间序列数据
dates = pd.date_range('2023-01-01', periods=1000, freq='H')
df = pd.DataFrame({
    'timestamp': dates,
    'value': np.random.randn(1000)
})

# 按天重采样并计算平均值
daily_mean = df.set_index('timestamp').resample('D')['value'].mean()

print(daily_mean)

# 按月重采样并计算平均值
monthly_mean = df.set_index('timestamp').resample('M')['value'].mean()

print(monthly_mean)

这个例子展示了如何对时间序列数据进行重采样，并计算每天和每月的平均值。

8.2 滚动窗口计算

import pandas as pd
import numpy as np

# 创建时间序列数据
dates = pd.date_range('2023-01-01', periods=100, freq='D')
df = pd.DataFrame({
    'date': dates,
    'value': np.random.randn(100)
})

# 计算7天滚动平均
rolling_mean = df.set_index('date')['value'].rolling(window=7).mean()

print(rolling_mean)

# 计算30天指数加权移动平均
ewm_mean = df.set_index('date')['value'].ewm(span=30).mean()

print(ewm_mean)

Output:

Pandas GroupBy 和 Mean 操作：数据分组与均值计算详解

这个例子展示了如何计算滚动平均和指数加权移动平均，这在分析时间序列数据趋势时非常有用。

9. GroupBy和Mean在多维数据分析中的应用

当处理多维数据时，GroupBy和Mean操作可以帮助我们从不同角度分析数据：

9.1 交叉表分析

import pandas as pd
import numpy as np

# 创建多维数据
data = {
    'product': np.random.choice(['A', 'B', 'C'], 1000),
    'region': np.random.choice(['North', 'South', 'East', 'West'], 1000),
    'sales': np.random.randint(100, 1000, 1000)
}
df = pd.DataFrame(data)

# 创建交叉表并计算平均值
cross_tab = pd.crosstab(df['product'], df['region'], values=df['sales'], aggfunc='mean')

print(cross_tab)

Output:

Pandas GroupBy 和 Mean 操作：数据分组与均值计算详解

这个例子展示了如何使用交叉表来分析产品在不同地区的平均销售额。

9.2 透视表分析

import pandas as pd
import numpy as np

# 创建多维数据
data = {
    'date': pd.date_range('2023-01-01', periods=1000),
    'product': np.random.choice(['A', 'B', 'C'], 1000),
    'region': np.random.choice(['North', 'South', 'East', 'West'], 1000),
    'sales': np.random.randint(100, 1000, 1000)
}
df = pd.DataFrame(data)

# 创建透视表
pivot_table = pd.pivot_table(df, values='sales', index=['date'], 
                             columns=['product', 'region'], aggfunc='mean')

print(pivot_table)

Output:

Pandas GroupBy 和 Mean 操作：数据分组与均值计算详解

这个例子展示了如何使用透视表来分析不同日期、产品和地区的平均销售额。

10. 结合其他Pandas功能的高级应用

GroupBy和Mean操作可以与其他Pandas功能结合，实现更复杂的数据分析：

10.1 结合排序和过滤

import pandas as pd
import numpy as np

# 创建示例数据
data = {
    'category': np.random.choice(['A', 'B', 'C'], 1000),
    'subcategory': np.random.choice(['X', 'Y', 'Z'], 1000),
    'value': np.random.randn(1000)
}
df = pd.DataFrame(data)

# 分组计算平均值，然后排序并筛选
result = (df.groupby(['category', 'subcategory'])['value']
          .mean()
          .sort_values(ascending=False)
          .head(5))

print(result)

Output:

Pandas GroupBy 和 Mean 操作：数据分组与均值计算详解

这个例子展示了如何计算分组平均值，然后对结果进行排序和筛选。

10.2 使用transform方法

import pandas as pd
import numpy as np

# 创建示例数据
data = {
    'group': np.random.choice(['A', 'B', 'C'], 1000),
    'value': np.random.randn(1000)
}
df = pd.DataFrame(data)

# 使用transform计算每个组的平均值
df['group_mean'] = df.groupby('group')['value'].transform('mean')

# 计算每个值与其组平均值的差
df['diff_from_mean'] = df['value'] - df['group_mean']

print(df.head())

Output:

Pandas GroupBy 和 Mean 操作：数据分组与均值计算详解

这个例子展示了如何使用transform方法为每个组计算平均值，并计算每个值与其组平均值的差。

总结

Pandas的GroupBy和Mean操作是数据分析中非常强大和灵活的工具。它们允许我们对数据进行分组，计算平均值，并从多个角度分析数据。通过本文的详细介绍和丰富的示例，我们探讨了这些操作的基本用法、高级技巧以及在实际数据分析中的应用。

从简单的分组平均值计算到复杂的多维数据分析，从处理缺失值和异常值到时间序列数据的重采样，GroupBy和Mean操作几乎可以应用于任何数据分析场景。结合Pandas的其他功能，如排序、过滤和透视表，我们可以进行更深入和全面的数据探索。

在实际应用中，选择合适的分组策略和聚合方法是关键。同时，对于大型数据集，还需要考虑性能优化，如使用分类数据类型或numba加速。

通过掌握这些技能，数据分析师和科学家可以更有效地处理和理解复杂的数据集，从而做出更好的决策和预测。随着数据量的不断增长和分析需求的日益复杂，熟练运用Pandas的GroupBy和Mean操作将成为数据分析工作中不可或缺的技能。

Camera课程

Camera API2 教程

API2 教程
Camera 性能教程

Perf 教程
Camera Native Framework 教程

Native FW 教程
Camera QCOM ISP 教程

ISP 教程
Camera QCOM Sensor 教程

Sensor 教程

Python教程

Python 教程

Python 教程
NumPy 教程

NumPy 教程
Django 教程

Django 教程

Java教程

Java 教程

Java 教程

Web教程

JavaScript 教程

JavaScript 教程
jQuery 教程

jQuery 教程
CSS 教程

CSS 教程
PHP 教程

PHP 教程
Laravel 教程

Laravel 教程
TypeScript 教程

TypeScript 教程
WordPress 教程

WordPress 教程

数据库教程

SQL 教程

SQL 教程
SQLite 教程

SQLite 教程
MySQL 教程

MySQL 教程
PL/SQL 教程

PL/SQL 教程
MongoDB 教程

MongoDB 教程

图形图像教程

OpenCV 教程

OpenCV 教程

办公软件教程

Excel 教程

Excel 教程

Linux教程

Linux命令全集

Linux命令全集
Linux内核API

Linux内核API
LVGL 教程

LVGL 教程

计算机教程

操作系统 教程

操作系统 教程
计算机网络 教程

计算机网络 教程
C语言 教程

C语言 教程
C++ 教程

C++ 教程
Swift 教程

Swift 教程

大数据教程

Hadoop 教程

Hadoop 教程
Spark 教程

Spark 教程
Scala 教程

Scala 教程

开发工具教程

Git 教程

Git 教程
Jenkins 教程

Jenkins 教程
ChatGPT 教程

ChatGPT 教程
IntelliJ 教程

IntelliJ 教程