Pandas Agg 和 Quantile 详解|极客笔记

Pandas Agg 和 Quantile 详解

Pandas 是一个强大的数据处理和分析库，它提供了许多用于数据处理的功能，其中 agg 和 quantile 是两个非常有用的方法。本文将详细介绍这两个方法的使用，包括它们的基本概念、使用场景以及具体的代码示例。

1. Pandas Aggregation (`agg`) 方法

Pandas 的 agg 方法是用于聚合计算的一个非常灵活的工具，它允许用户对数据进行多种统计分析，比如求和、平均、最大值、最小值等。agg 方法可以应用于 DataFrame 的整体数据，也可以针对某个列或多个列进行聚合。

示例代码 1: 使用 `agg` 方法进行基本聚合

import pandas as pd
import numpy as np

# 创建一个示例 DataFrame
df = pd.DataFrame({
    'A': np.random.randn(50),
    'B': np.random.rand(50)
})

# 使用 agg 方法进行聚合
result = df.agg(['sum', 'mean'])
print(result)

Output:

Pandas Agg 和 Quantile 详解

示例代码 2: 对指定列使用 `agg` 方法

import pandas as pd
import numpy as np

# 创建一个示例 DataFrame
df = pd.DataFrame({
    'A': np.random.randn(50),
    'B': np.random.rand(50),
    'C': np.random.randn(50)
})

# 对列 A 和 B 使用 agg 方法
result = df[['A', 'B']].agg(['sum', 'mean'])
print(result)

Output:

Pandas Agg 和 Quantile 详解

示例代码 3: 使用字典在 `agg` 方法中指定不同操作

import pandas as pd
import numpy as np

# 创建一个示例 DataFrame
df = pd.DataFrame({
    'A': np.random.randn(50),
    'B': np.random.rand(50),
    'C': np.random.randn(50)
})

# 使用字典指定每列的聚合方式
result = df.agg({'A': ['sum', 'min'], 'B': ['max', 'mean'], 'C': 'sum'})
print(result)

Output:

Pandas Agg 和 Quantile 详解

2. Pandas Quantile 方法

Quantile 是统计中分位数的概念，Pandas 的 quantile 方法可以用来计算数据的分位数，这对于数据分析和统计非常有用。你可以指定任何介于 0 和 1 之间的数值来获取相应的分位数。

示例代码 4: 计算单列的分位数

import pandas as pd
import numpy as np

# 创建一个示例 DataFrame
df = pd.DataFrame({
    'A': np.random.randn(100)
})

# 计算 A 列的 0.5 分位数（中位数）
median = df['A'].quantile(0.5)
print(median)

Output:

Pandas Agg 和 Quantile 详解

示例代码 5: 计算多个分位数

import pandas as pd
import numpy as np

# 创建一个示例 DataFrame
df = pd.DataFrame({
    'A': np.random.randn(100)
})

# 计算 A 列的多个分位数
quantiles = df['A'].quantile([0.25, 0.5, 0.75])
print(quantiles)

Output:

Pandas Agg 和 Quantile 详解

示例代码 6: 对 DataFrame 的所有列计算分位数

import pandas as pd
import numpy as np

# 创建一个示例 DataFrame
df = pd.DataFrame({
    'A': np.random.randn(100),
    'B': np.random.rand(100)
})

# 计算所有列的 0.5 分位数
medians = df.quantile(0.5)
print(medians)

Output:

Pandas Agg 和 Quantile 详解

3. 结合使用 `agg` 和 `quantile`

agg 和 quantile 可以结合使用来进行更复杂的数据分析。例如，你可以使用 agg 方法来同时计算多个统计量，包括分位数。

示例代码 7: 在 `agg` 方法中使用 `quantile`

import pandas as pd
import numpy as np

# 创建一个示例 DataFrame
df = pd.DataFrame({
    'A': np.random.randn(100),
    'B': np.random.rand(100)
})

# 使用 agg 方法计算多个统计量，包括分位数
result = df.agg({
    'A': ['mean', 'std', lambda x: x.quantile(0.5)],
    'B': ['min', 'max', lambda x: x.quantile(0.75)]
})
print(result)

Output:

Pandas Agg 和 Quantile 详解

示例代码 8: 使用 `agg` 和 `quantile` 分析时间序列数据

import pandas as pd
import numpy as np

# 创建一个时间序列数据的示例 DataFrame
dates = pd.date_range(start='2023-01-01', periods=100)
df = pd.DataFrame({
    'A': np.random.randn(100),
    'B': np.random.rand(100)
}, index=dates)

# 使用 resample 和 agg 方法进行时间序列分析
monthly_stats = df.resample('M').agg({
    'A': ['mean', 'std', lambda x: x.quantile(0.5)],
    'B': ['sum', lambda x: x.quantile(0.25)]
})
print(monthly_stats)