当前位置：极客笔记 > Pandas > Pandas 问答 > Pandas中Groupby和Pivot的深入对比与应用

Pandas中Groupby和Pivot的深入对比与应用

Pandas中Groupby和Pivot的深入对比与应用

参考：pandas groupby vs pivot

Pandas是Python中最常用的数据处理库之一，它提供了强大的数据操作和分析工具。在处理大型数据集时，我们经常需要对数据进行分组、聚合和重塑。Pandas中的groupby和pivot函数是实现这些操作的两个重要工具。本文将深入探讨这两个函数的使用方法、区别和应用场景，帮助读者更好地理解和运用这些强大的数据处理工具。

1. Groupby简介

Groupby是Pandas中用于数据分组和聚合的核心功能。它允许我们按照一个或多个列对数据进行分组，然后对每个分组应用聚合函数。

1.1 基本用法

让我们从一个简单的例子开始：

import pandas as pd

# 创建示例数据
data = {
    'name': ['Alice', 'Bob', 'Charlie', 'Alice', 'Bob'],
    'city': ['New York', 'London', 'Paris', 'New York', 'London'],
    'sales': [100, 200, 300, 150, 250]
}
df = pd.DataFrame(data)

# 按name分组并计算sales的总和
result = df.groupby('name')['sales'].sum()
print("pandasdataframe.com - Groupby结果:")
print(result)

Output:

Pandas中Groupby和Pivot的深入对比与应用

在这个例子中，我们首先创建了一个包含名字、城市和销售额的DataFrame。然后，我们使用groupby(‘name’)按名字分组，并计算每个人的总销售额。

1.2 多列分组

Groupby支持多列分组，这在处理复杂数据时非常有用：

import pandas as pd

# 创建示例数据
data = {
    'name': ['Alice', 'Bob', 'Charlie', 'Alice', 'Bob'],
    'city': ['New York', 'London', 'Paris', 'New York', 'London'],
    'category': ['A', 'B', 'A', 'B', 'A'],
    'sales': [100, 200, 300, 150, 250]
}
df = pd.DataFrame(data)

# 按name和city分组并计算sales的平均值
result = df.groupby(['name', 'city'])['sales'].mean()
print("pandasdataframe.com - 多列Groupby结果:")
print(result)

Output:

Pandas中Groupby和Pivot的深入对比与应用

这个例子展示了如何按多个列（name和city）进行分组，并计算每个组的平均销售额。

1.3 聚合函数

Groupby支持多种聚合函数，如sum()、mean()、count()等。我们还可以同时应用多个聚合函数：

import pandas as pd

# 创建示例数据
data = {
    'name': ['Alice', 'Bob', 'Charlie', 'Alice', 'Bob'],
    'city': ['New York', 'London', 'Paris', 'New York', 'London'],
    'sales': [100, 200, 300, 150, 250]
}
df = pd.DataFrame(data)

# 应用多个聚合函数
result = df.groupby('name')['sales'].agg(['sum', 'mean', 'count'])
print("pandasdataframe.com - 多个聚合函数结果:")
print(result)

Output:

Pandas中Groupby和Pivot的深入对比与应用

这个例子展示了如何对分组后的数据同时应用多个聚合函数（sum、mean和count）。

2. Pivot简介

Pivot是Pandas中用于重塑数据的函数，它可以将长格式（long format）的数据转换为宽格式（wide format）。Pivot通常用于创建交叉表或重新组织数据的结构。

2.1 基本用法

让我们看一个简单的pivot例子：

import pandas as pd

# 创建示例数据
data = {
    'date': ['2023-01-01', '2023-01-01', '2023-01-02', '2023-01-02'],
    'product': ['A', 'B', 'A', 'B'],
    'sales': [100, 200, 150, 250]
}
df = pd.DataFrame(data)

# 使用pivot重塑数据
result = df.pivot(index='date', columns='product', values='sales')
print("pandasdataframe.com - Pivot结果:")
print(result)

Output:

Pandas中Groupby和Pivot的深入对比与应用

在这个例子中，我们将日期作为索引，产品作为列，销售额作为值来重塑数据。结果是一个以日期为行、产品为列的表格。

2.2 处理重复值

当pivot遇到重复值时，会抛出错误。我们可以使用pivot_table来解决这个问题：

import pandas as pd

# 创建包含重复值的示例数据
data = {
    'date': ['2023-01-01', '2023-01-01', '2023-01-01', '2023-01-02'],
    'product': ['A', 'B', 'A', 'B'],
    'sales': [100, 200, 150, 250]
}
df = pd.DataFrame(data)

# 使用pivot_table处理重复值
result = pd.pivot_table(df, values='sales', index='date', columns='product', aggfunc='sum')
print("pandasdataframe.com - Pivot Table结果:")
print(result)

Output:

Pandas中Groupby和Pivot的深入对比与应用

这个例子展示了如何使用pivot_table来处理包含重复值的数据。我们指定了聚合函数（sum）来处理重复值。

3. Groupby vs Pivot：主要区别

虽然groupby和pivot都可以用于数据重组，但它们有一些关键的区别：

  1. 功能：
    • Groupby主要用于数据分组和聚合。
    • Pivot主要用于数据重塑，将长格式数据转换为宽格式。
  2. 输出格式：
    • Groupby通常产生一个Series或DataFrame，保持原始数据的结构。
    • Pivot产生一个新的DataFrame，改变了数据的结构。
  3. 灵活性：
    • Groupby更灵活，可以应用各种聚合函数和自定义函数。
    • Pivot主要用于重新组织数据，灵活性相对较低。
  4. 处理重复值：
    • Groupby可以自然地处理重复值。
    • Pivot在遇到重复值时会抛出错误，需要使用pivot_table来处理。

让我们通过一个例子来说明这些区别：

import pandas as pd

# 创建示例数据
data = {
    'date': ['2023-01-01', '2023-01-01', '2023-01-02', '2023-01-02'],
    'product': ['A', 'B', 'A', 'B'],
    'sales': [100, 200, 150, 250],
    'quantity': [10, 20, 15, 25]
}
df = pd.DataFrame(data)

# 使用groupby
groupby_result = df.groupby(['date', 'product']).agg({'sales': 'sum', 'quantity': 'mean'})
print("pandasdataframe.com - Groupby结果:")
print(groupby_result)

# 使用pivot
pivot_result = df.pivot(index='date', columns='product', values=['sales', 'quantity'])
print("\npandasdataframe.com - Pivot结果:")
print(pivot_result)

Output:

Pandas中Groupby和Pivot的深入对比与应用

这个例子清楚地展示了groupby和pivot的不同输出格式和用途。Groupby保持了原始的数据结构，而pivot创建了一个新的、更宽的表格结构。

4. 高级应用场景

4.1 使用Groupby进行时间序列分析

Groupby非常适合进行时间序列数据的分析：

import pandas as pd
import numpy as np

# 创建时间序列数据
dates = pd.date_range(start='2023-01-01', end='2023-12-31', freq='D')
data = {
    'date': dates,
    'sales': np.random.randint(100, 1000, size=len(dates))
}
df = pd.DataFrame(data)

# 按月分组并计算月度总销售额
monthly_sales = df.groupby(df['date'].dt.to_period('M'))['sales'].sum()
print("pandasdataframe.com - 月度销售额:")
print(monthly_sales)

Output:

Pandas中Groupby和Pivot的深入对比与应用

这个例子展示了如何使用groupby对时间序列数据进行月度汇总。

4.2 使用Pivot进行数据可视化准备

Pivot常用于准备数据以进行可视化：

import pandas as pd
import numpy as np

# 创建示例数据
products = ['A', 'B', 'C']
dates = pd.date_range(start='2023-01-01', end='2023-12-31', freq='D')
data = {
    'date': np.repeat(dates, len(products)),
    'product': np.tile(products, len(dates)),
    'sales': np.random.randint(100, 1000, size=len(dates) * len(products))
}
df = pd.DataFrame(data)

# 使用pivot准备数据
pivot_data = df.pivot(index='date', columns='product', values='sales')
print("pandasdataframe.com - 数据可视化准备:")
print(pivot_data.head())

# 这里可以继续使用matplotlib或seaborn进行可视化

Output:

Pandas中Groupby和Pivot的深入对比与应用

这个例子展示了如何使用pivot来准备数据，以便后续进行多产品销售趋势的可视化。

4.3 Groupby与自定义函数结合

Groupby可以与自定义函数结合使用，实现复杂的数据处理：

import pandas as pd

# 创建示例数据
data = {
    'name': ['Alice', 'Bob', 'Charlie', 'Alice', 'Bob'],
    'score': [85, 92, 78, 90, 88]
}
df = pd.DataFrame(data)

# 自定义函数：计算最高分和平均分的差
def score_diff(x):
    return x.max() - x.mean()

# 应用自定义函数
result = df.groupby('name')['score'].agg(['max', 'mean', score_diff])
result.columns = ['最高分', '平均分', '差值']
print("pandasdataframe.com - 自定义函数结果:")
print(result)

Output:

Pandas中Groupby和Pivot的深入对比与应用

这个例子展示了如何使用groupby与自定义函数结合，计算每个学生的最高分、平均分以及它们之间的差值。

4.4 使用Pivot_table处理多维数据

Pivot_table函数可以处理更复杂的多维数据：

import pandas as pd
import numpy as np

# 创建多维示例数据
data = {
    'date': pd.date_range(start='2023-01-01', end='2023-12-31', freq='D'),
    'product': np.random.choice(['A', 'B', 'C'], size=365),
    'region': np.random.choice(['East', 'West', 'North', 'South'], size=365),
    'sales': np.random.randint(100, 1000, size=365),
    'units': np.random.randint(10, 100, size=365)
}
df = pd.DataFrame(data)

# 使用pivot_table创建多维表格
result = pd.pivot_table(df, 
                        values=['sales', 'units'], 
                        index=['date'], 
                        columns=['product', 'region'], 
                        aggfunc={'sales': np.sum, 'units': np.mean})

print("pandasdataframe.com - 多维Pivot Table结果:")
print(result.head())

这个例子展示了如何使用pivot_table来处理包含多个维度（日期、产品、地区）和多个指标（销售额、销售单位）的复杂数据。

5. 性能考虑

在处理大型数据集时，groupby和pivot的性能可能会成为一个问题。以下是一些提高性能的建议：

  1. 对于groupby：
    • 尽可能减少分组的列数。
    • 使用categorical数据类型可以提高性能。
    • 考虑使用groupby().agg()而不是多次调用groupby。
  2. 对于pivot：
    • 在进行pivot操作之前，尽可能减少数据集的大小。
    • 如果只需要部分结果，考虑在pivot之前进行过滤。
    • 对于非常大的数据集，可能需要考虑使用其他工具，如SQL数据库。

让我们看一个使用categorical数据类型来提高groupby性能的例子：

import pandas as pd
import numpy as np

# 创建大型示例数据
n = 1000000
data = {
    'category': np.random.choice(['A', 'B', 'C', 'D'], size=n),
    'value': np.random.randn(n)
}
df = pd.DataFrame(data)

# 将category列转换为categorical类型
df['category'] = df['category'].astype('category')

# 使用groupby
result = df.groupby('category')['value'].mean()
print("pandasdataframe.com - 使用Categorical类型的Groupby结果:")
print(result)

这个例子展示了如何将分组列转换为categorical类型，这可以在处理大型数据集时提高groupby的性能。

6. 实际应用案例

6.1 销售数据分析

假设我们有一个电子商务公司的销售数据，我们想分析不同产品类别在不同地区的销售情况：

import pandas as pd
import numpy as np

# 创建销售数据
np.random.seed(0)
n = 10000
data = {
    'date': pd.date_range(start='2023-01-01', end='2023-12-31', freq='H')[:n],
    'product_category': np.random.choice(['Electronics', 'Clothing', 'Books', 'Home'], size=n),
    'region': np.random.choice(['North', 'South', 'East', 'West'], size=n),
    'sales': np.random.randint(10, 1000, size=n)
}
df = pd.DataFrame(data)

# 使用groupby分析每个地区的产品类别销售情况
region_category_sales = df.groupby(['region', 'product_category'])['sales'].sum().unstack()
print("pandasdataframe.com - 地区产品类别销售情况:")
print(region_category_sales)

# 使用pivot_table分析每月每个产品类别的销售趋势
monthly_category_sales = pd.pivot_table(df, 
                                        values='sales', 
                                        index=df['date'].dt.to_period('M'), 
                                        columns='product_category', 
                                        aggfunc='sum')
print("\npandasdataframe.com - 月度产品类别销售趋势:")
print(monthly_category_sales)

这个例子展示了如何使用groupby和pivot_table来分析销售数据。我们首先分析了每个地区的产品类别销售情况，然后分析了每月每个产品类别的销售趋势。

6.2 学生成绩分析

假设我们有一所学校的学生成绩数据，我们想分析不同年级、不同科目的学生表现：

import pandas as pd
import numpy as np

# 创建学生成绩数据
np.random.seed(0)
n = 1000
data = {
    'student_id': range(1, n+1),
    'grade': np.random.choice([9, 10, 11, 12], size=n),
    'subject': np.random.choice(['Math', 'Science', 'English', 'History'], size=n),
    'score': np.random.randint(60, 100, size=n)
}
df = pd.DataFrame(data)

# 使用groupby分析每个年级的平均成绩
grade_avg_score = df.groupby('grade')['score'].mean()
print("pandasdataframe.com - 年级平均成绩:")
print(grade_avg_score)

# 使用pivot_table分析每个年级每个科目的平均成绩
grade_subject_avg_score = pd.pivot_table(df, 
                                         values='score', 
                                         index='grade', 
                                         columns='subject', 
                                         aggfunc='mean')
print("\npandasdataframe.com - 年级科目平均成绩:")
print(grade_subject_avg_score)

# 使用groupby找出每个科目的最高分
subject_top_score = df.groupby('subject')['score'].max()
print("\npandasdataframe.com - 科目最高分:")
print(subject_top_score)

Output:

Pandas中Groupby和Pivot的深入对比与应用

这个例子展示了如何使用groupby和pivot_table来分析学生成绩数据。我们分析了每个年级的平均成绩，每个年级每个科目的平均成绩，以及每个科目的最高分。

7. 高级技巧

7.1 Groupby与窗口函数结合

Pandas的groupby可以与窗口函数结合使用，实现更复杂的数据分析：

import pandas as pd
import numpy as np

# 创建示例数据
np.random.seed(0)
data = {
    'date': pd.date_range(start='2023-01-01', end='2023-12-31', freq='D'),
    'sales': np.random.randint(100, 1000, size=365)
}
df = pd.DataFrame(data)

# 计算7天移动平均
df['7_day_ma'] = df.groupby(df['date'].dt.to_period('M'))['sales'].transform(lambda x: x.rolling(window=7, min_periods=1).mean())

print("pandasdataframe.com - 7天移动平均:")
print(df.head(10))

Output:

Pandas中Groupby和Pivot的深入对比与应用

这个例子展示了如何使用groupby和窗口函数计算每月内的7天移动平均销售额。

7.2 Pivot与多级索引

Pivot可以创建多级索引的DataFrame，这在处理复杂的层次化数据时非常有用：

import pandas as pd
import numpy as np

# 创建示例数据
np.random.seed(0)
data = {
    'date': pd.date_range(start='2023-01-01', end='2023-12-31', freq='D'),
    'product': np.random.choice(['A', 'B', 'C'], size=365),
    'region': np.random.choice(['East', 'West'], size=365),
    'sales': np.random.randint(100, 1000, size=365)
}
df = pd.DataFrame(data)

# 创建多级索引的pivot table
pivot_result = pd.pivot_table(df, 
                              values='sales', 
                              index=['date'], 
                              columns=['region', 'product'], 
                              aggfunc='sum')

print("pandasdataframe.com - 多级索引Pivot结果:")
print(pivot_result.head())

Output:

Pandas中Groupby和Pivot的深入对比与应用

这个例子展示了如何使用pivot_table创建一个具有多级列索引的DataFrame，其中包含地区和产品两个层次。

7.3 Groupby与自定义聚合函数

Groupby支持使用自定义的聚合函数，这使得我们可以执行更复杂的数据处理：

import pandas as pd
import numpy as np

# 创建示例数据
np.random.seed(0)
data = {
    'group': ['A', 'A', 'B', 'B', 'C', 'C'],
    'value1': np.random.rand(6),
    'value2': np.random.rand(6)
}
df = pd.DataFrame(data)

# 自定义聚合函数
def custom_agg(x):
    return pd.Series({
        'mean_v1': x['value1'].mean(),
        'sum_v2': x['value2'].sum(),
        'range_v1': x['value1'].max() - x['value1'].min()
    })

# 应用自定义聚合函数
result = df.groupby('group').apply(custom_agg)

print("pandasdataframe.com - 自定义聚合函数结果:")
print(result)

这个例子展示了如何创建和应用自定义聚合函数，该函数同时计算了value1的平均值、value2的总和以及value1的范围。

8. 常见问题和解决方案

在使用groupby和pivot时，可能会遇到一些常见问题。以下是一些问题及其解决方案：

8.1 处理NaN值

在进行groupby或pivot操作时，NaN值可能会导致意外的结果：

import pandas as pd
import numpy as np

# 创建包含NaN的示例数据
data = {
    'group': ['A', 'A', 'B', 'B', 'C', 'C'],
    'value': [1, np.nan, 3, 4, np.nan, 6]
}
df = pd.DataFrame(data)

# 使用groupby处理NaN
result_with_nan = df.groupby('group')['value'].mean()
print("pandasdataframe.com - 包含NaN的Groupby结果:")
print(result_with_nan)

# 在groupby之前填充NaN
df_filled = df.fillna(df['value'].mean())
result_filled = df_filled.groupby('group')['value'].mean()
print("\npandasdataframe.com - 填充NaN后的Groupby结果:")
print(result_filled)

Output:

Pandas中Groupby和Pivot的深入对比与应用

这个例子展示了如何在进行groupby操作之前处理NaN值，以避免它们影响结果。

8.2 处理大型数据集

当处理大型数据集时，内存可能成为一个问题。使用分块处理可以解决这个问题：

import pandas as pd
import numpy as np

# 创建大型示例数据
n = 10000000
data = {
    'group': np.random.choice(['A', 'B', 'C'], size=n),
    'value': np.random.rand(n)
}

# 分块读取和处理数据
chunk_size = 1000000
reader = pd.DataFrame(data).groupby('group')

result = pd.DataFrame()
for chunk in reader:
    group_name = chunk[0]
    group_data = chunk[1]
    group_mean = group_data['value'].mean()
    result = result.append(pd.DataFrame({'group': [group_name], 'mean': [group_mean]}))

print("pandasdataframe.com - 分块处理大型数据集结果:")
print(result)

这个例子展示了如何使用分块处理来处理大型数据集，避免一次性将所有数据加载到内存中。

9. 总结

Pandas的groupby和pivot函数是数据分析中非常强大的工具。Groupby主要用于数据分组和聚合，而pivot主要用于数据重塑。它们各有特点和适用场景：

  1. Groupby更适合于:
    • 对数据进行分组统计
    • 应用复杂的聚合函数
    • 处理时间序列数据
  2. Pivot更适合于:
    • 将长格式数据转换为宽格式
    • 创建交叉表
    • 准备数据用于可视化

在实际应用中，我们经常需要结合使用这两个函数来完成复杂的数据分析任务。通过本文的详细介绍和丰富的示例，读者应该能够更好地理解和运用这两个强大的数据处理工具，从而提高数据分析的效率和质量。

在处理大型数据集时，需要注意性能问题，可以考虑使用categorical数据类型、分块处理等技巧来优化性能。同时，也要注意处理NaN值、多级索引等常见问题。

最后，熟练掌握groupby和pivot的使用，将极大地提升你的数据处理能力，使你能够更加灵活和高效地处理各种复杂的数据分析任务。

Camera课程

Camera API2 教程

API2 教程
Camera 性能教程

Perf 教程
Camera Native Framework 教程

Native FW 教程
Camera QCOM ISP 教程

ISP 教程
Camera QCOM Sensor 教程

Sensor 教程

Python教程

Python 教程

Python 教程
NumPy 教程

NumPy 教程
Django 教程

Django 教程

Java教程

Java 教程

Java 教程

Web教程

JavaScript 教程

JavaScript 教程
jQuery 教程

jQuery 教程
CSS 教程

CSS 教程
PHP 教程

PHP 教程
Laravel 教程

Laravel 教程
TypeScript 教程

TypeScript 教程
WordPress 教程

WordPress 教程

数据库教程

SQL 教程

SQL 教程
SQLite 教程

SQLite 教程
MySQL 教程

MySQL 教程
PL/SQL 教程

PL/SQL 教程
MongoDB 教程

MongoDB 教程

图形图像教程

OpenCV 教程

OpenCV 教程

办公软件教程

Excel 教程

Excel 教程

Linux教程

Linux命令全集

Linux命令全集
Linux内核API

Linux内核API
LVGL 教程

LVGL 教程

计算机教程

操作系统 教程

操作系统 教程
计算机网络 教程

计算机网络 教程
C语言 教程

C语言 教程
C++ 教程

C++ 教程
Swift 教程

Swift 教程

大数据教程

Hadoop 教程

Hadoop 教程
Spark 教程

Spark 教程
Scala 教程

Scala 教程

开发工具教程

Git 教程

Git 教程
Jenkins 教程

Jenkins 教程
ChatGPT 教程

ChatGPT 教程
IntelliJ 教程

IntelliJ 教程