极客笔记Pandas GroupBy和Quantile：高效数据分组与分位数分析
Pandas是Python中强大的数据处理库，其中GroupBy和Quantile功能为数据分析提供了强大的工具。本文将深入探讨Pandas中GroupBy和Quantile的使用方法、应用场景以及实际示例，帮助您更好地理解和应用这些功能。
1. GroupBy简介
GroupBy是Pandas中用于数据分组的重要功能。它允许我们根据一个或多个列的值将数据分成不同的组，然后对每个组进行聚合操作或其他分析。
1.1 基本用法
以下是GroupBy的基本用法示例：
import pandas as pd
# 创建示例数据
data = {
'name': ['Alice', 'Bob', 'Charlie', 'Alice', 'Bob'],
'age': [25, 30, 35, 25, 30],
'score': [85, 92, 78, 90, 88]
}
df = pd.DataFrame(data)
# 按name列进行分组，并计算每组的平均分数
grouped = df.groupby('name')['score'].mean()
print("Average scores grouped by name:")
print(grouped)
Output:
在这个例子中，我们首先创建了一个包含姓名、年龄和分数的DataFrame。然后，我们使用groupby('name')按姓名进行分组，并计算每个人的平均分数。这个操作会返回一个Series，其中索引是姓名，值是对应的平均分数。
1.2 多列分组
GroupBy也支持多列分组：
import pandas as pd
# 创建示例数据
data = {
'name': ['Alice', 'Bob', 'Charlie', 'Alice', 'Bob'],
'department': ['HR', 'IT', 'Finance', 'HR', 'IT'],
'salary': [5000, 6000, 5500, 5200, 6200]
}
df = pd.DataFrame(data)
# 按name和department列进行分组，并计算每组的平均工资
grouped = df.groupby(['name', 'department'])['salary'].mean()
print("Average salaries grouped by name and department:")
print(grouped)
Output:
在这个例子中，我们按姓名和部门进行分组，然后计算每个组的平均工资。结果是一个多级索引的Series，其中第一级是姓名，第二级是部门。
2. Quantile简介
Quantile（分位数）是统计学中的重要概念，用于描述数据分布的特征。Pandas提供了计算分位数的功能，可以帮助我们更好地理解数据的分布情况。
2.1 基本用法
以下是Quantile的基本用法示例：
import pandas as pd
import numpy as np
# 创建示例数据
np.random.seed(42)
data = {
'value': np.random.randn(1000)
}
df = pd.DataFrame(data)
# 计算25%、50%和75%分位数
quantiles = df['value'].quantile([0.25, 0.5, 0.75])
print("Quantiles of the 'value' column:")
print(quantiles)
Output:
在这个例子中，我们创建了一个包含1000个随机数的DataFrame，然后使用quantile()方法计算了25%、50%（中位数）和75%分位数。这个操作返回一个Series，其中索引是分位数，值是对应的数值。
2.2 自定义分位数
我们也可以计算自定义的分位数：
import pandas as pd
import numpy as np
# 创建示例数据
np.random.seed(42)
data = {
'score': np.random.randint(0, 101, 1000)
}
df = pd.DataFrame(data)
# 计算10%、30%、70%和90%分位数
custom_quantiles = df['score'].quantile([0.1, 0.3, 0.7, 0.9])
print("Custom quantiles of the 'score' column:")
print(custom_quantiles)
Output:
在这个例子中，我们生成了1000个0到100之间的随机整数作为分数，然后计算了10%、30%、70%和90%分位数。这可以帮助我们了解分数分布的更多细节。
3. GroupBy和Quantile结合使用
GroupBy和Quantile的结合使用可以让我们对分组数据进行更深入的分析。
3.1 分组计算分位数
以下是一个分组计算分位数的示例：
import pandas as pd
import numpy as np
# 创建示例数据
np.random.seed(42)
data = {
'department': np.random.choice(['HR', 'IT', 'Finance'], 1000),
'salary': np.random.randint(3000, 10001, 1000)
}
df = pd.DataFrame(data)
# 按部门分组，并计算每个部门的25%、50%和75%分位数工资
grouped_quantiles = df.groupby('department')['salary'].quantile([0.25, 0.5, 0.75])
print("Salary quantiles by department:")
print(grouped_quantiles)
Output:
在这个例子中，我们首先创建了一个包含部门和工资信息的DataFrame。然后，我们使用groupby('department')按部门进行分组，并计算每个部门的25%、50%和75%分位数工资。这个操作返回一个多级索引的Series，其中第一级是部门，第二级是分位数。
3.2 多列分组计算分位数
我们也可以进行多列分组，然后计算分位数：
import pandas as pd
import numpy as np
# 创建示例数据
np.random.seed(42)
data = {
'department': np.random.choice(['HR', 'IT', 'Finance'], 1000),
'experience': np.random.choice(['Junior', 'Senior'], 1000),
'salary': np.random.randint(3000, 10001, 1000)
}
df = pd.DataFrame(data)
# 按部门和经验级别分组，并计算每个组的25%、50%和75%分位数工资
grouped_quantiles = df.groupby(['department', 'experience'])['salary'].quantile([0.25, 0.5, 0.75])
print("Salary quantiles by department and experience level:")
print(grouped_quantiles)
Output:
在这个例子中，我们按部门和经验级别进行分组，然后计算每个组的25%、50%和75%分位数工资。这可以帮助我们了解不同部门和经验级别的工资分布情况。
4. 高级应用
4.1 使用agg方法同时计算多个统计量
agg方法允许我们同时计算多个统计量：
import pandas as pd
import numpy as np
# 创建示例数据
np.random.seed(42)
data = {
'department': np.random.choice(['HR', 'IT', 'Finance'], 1000),
'salary': np.random.randint(3000, 10001, 1000)
}
df = pd.DataFrame(data)
# 按部门分组，并计算多个统计量
stats = df.groupby('department')['salary'].agg(['mean', 'median', 'min', 'max',
lambda x: x.quantile(0.25),
lambda x: x.quantile(0.75)])
stats.columns = ['Mean', 'Median', 'Min', 'Max', '25th Percentile', '75th Percentile']
print("Salary statistics by department:")
print(stats)
Output:
在这个例子中，我们使用agg方法同时计算了平均值、中位数、最小值、最大值以及25%和75%分位数。这提供了每个部门工资分布的全面概览。
4.2 使用transform方法
transform方法可以将聚合结果广播回原始DataFrame的形状：
import pandas as pd
import numpy as np
# 创建示例数据
np.random.seed(42)
data = {
'name': np.random.choice(['Alice', 'Bob', 'Charlie'], 1000),
'score': np.random.randint(0, 101, 1000)
}
df = pd.DataFrame(data)
# 计算每个人的分数与其平均分数的差异
df['score_diff'] = df['score'] - df.groupby('name')['score'].transform('mean')
print("Score differences from mean:")
print(df.head(10))
Output:
在这个例子中，我们计算了每个人的分数与其平均分数的差异。transform方法将每个人的平均分数广播到与原始DataFrame相同的形状，使我们能够直接进行减法运算。
4.3 处理缺失值
在进行分组操作时，我们可能需要处理缺失值：
import pandas as pd
import numpy as np
# 创建包含缺失值的示例数据
data = {
'name': ['Alice', 'Bob', 'Charlie', 'Alice', 'Bob', 'Charlie'],
'score': [85, np.nan, 78, 90, 88, np.nan]
}
df = pd.DataFrame(data)
# 按name分组，计算平均分数，忽略缺失值
grouped = df.groupby('name')['score'].mean()
print("Average scores (ignoring NaN):")
print(grouped)
# 使用fillna方法填充缺失值
df['score_filled'] = df.groupby('name')['score'].transform(lambda x: x.fillna(x.mean()))
print("\nDataFrame with filled scores:")
print(df)
Output:
在这个例子中，我们首先计算了每个人的平均分数，忽略了缺失值。然后，我们使用transform方法和fillna函数将缺失值填充为该人的平均分数。
4.4 使用cut函数进行分箱操作
cut函数可以帮助我们将连续数据分成离散的区间：
import pandas as pd
import numpy as np
# 创建示例数据
np.random.seed(42)
data = {
'age': np.random.randint(20, 61, 1000),
'salary': np.random.randint(3000, 10001, 1000)
}
df = pd.DataFrame(data)
# 将年龄分成区间
df['age_group'] = pd.cut(df['age'], bins=[0, 30, 40, 50, 60], labels=['20-30', '31-40', '41-50', '51-60'])
# 按年龄组分组，计算工资的分位数
salary_quantiles = df.groupby('age_group')['salary'].quantile([0.25, 0.5, 0.75])
print("Salary quantiles by age group:")
print(salary_quantiles)
在这个例子中，我们首先使用cut函数将年龄分成了四个区间。然后，我们按这些年龄组进行分组，并计算了每个组的工资分位数。这可以帮助我们了解不同年龄段的工资分布情况。
4.5 使用qcut函数进行等频分箱
qcut函数可以将数据分成等频的区间：
import pandas as pd
import numpy as np
# 创建示例数据
np.random.seed(42)
data = {
'score': np.random.randint(0, 101, 1000)
}
df = pd.DataFrame(data)
# 将分数分成4个等频区间
df['score_group'] = pd.qcut(df['score'], q=4, labels=['Low', 'Medium-Low', 'Medium-High', 'High'])
# 计算每个分数组的数量
group_counts = df['score_group'].value_counts().sort_index()
print("Counts for each score group:")
print(group_counts)
Output:
在这个例子中，我们使用qcut函数将分数分成了4个等频区间。这意味着每个区间包含大约相同数量的数据点。然后，我们计算了每个分数组的数量，以验证分组的均匀性。
4.6 使用rolling和expanding窗口函数
Pandas还提供了滚动窗口和扩展窗口函数，可以与GroupBy结合使用：
import pandas as pd
import numpy as np
# 创建示例时间序列数据
dates = pd.date_range(start='2023-01-01', end='2023-12-31', freq='D')
np.random.seed(42)
data = {
'date': dates,
'sales': np.random.randint(100, 1001, len(dates))
}
df = pd.DataFrame(data)
df['month'] = df['date'].dt.to_period('M')
# 计算30天滚动平均销售额
df['rolling_avg'] = df.groupby('month')['sales'].transform(lambda x: x.rolling(window=30, min_periods=1).mean())
# 计算累计销售额
df['cumulative_sales'] = df.groupby('month')['sales'].transform('cumsum')
print("Sales data with rolling average and cumulative sum:")
print(df.head(10))
Output:
在这个例子中，我们首先创建了一个包含日期和销售额的时间序列数据。然后，我们计算了30天的滚动平均销售额和每月的累计销售额。这种分析可以帮助我们了解销售趋势和季节性模式。
4.7 使用apply方法进行自定义操作
apply方法允许我们对分组后的数据进行更复杂的自定义操作：
import pandas as pd
import numpy as np
# 创建示例数据
np.random.seed(42)
data = {
'name': np.random.choice(['Alice', 'Bob', 'Charlie'], 1000),
'score': np.random.randint(0, 101, 1000)
}
df = pd.DataFrame(data)
# 定义自定义函数
def score_summary(group):
return pd.Series({
'count': group.count(),
'mean': group.mean(),
'median': group.median(),
'top_score': group.nlargest(3).mean(), # 平均前3名分数
'bottom_score': group.nsmallest(3).mean() # 平均后3名分数
})
# 应用自定义函数
result = df.groupby('name')['score'].apply(score_summary)
print("Custom score summary by name:")
print(result)
Output:
在这个例子中，我们定义了一个自定义函数score_summary，它计算了每个组的计数、平均值、中位数、前3名平均分和后3名平均分。然后，我们使用apply方法将这个函数应用到每个分组上。这种方法允许我们进行更复杂和灵活的分组分析。
4.8 处理多级索引
当使用多列进行分组时，结果通常会有多级索引。我们可以使用unstack方法来重塑数据：
import pandas as pd
import numpy as np
# 创建示例数据
np.random.seed(42)
data = {
'department': np.random.choice(['HR', 'IT', 'Finance'], 1000),
'level': np.random.choice(['Junior', 'Senior'], 1000),
'salary': np.random.randint(3000, 10001, 1000)
}
df = pd.DataFrame(data)
# 按部门和级别分组，计算平均工资
grouped = df.groupby(['department', 'level'])['salary'].mean()
print("Grouped data:")
print(grouped)
# 使用unstack重塑数据
unstacked = grouped.unstack()
print("\nUnstacked data:")
print(unstacked)
Output:
在这个例子中，我们首先按部门和级别分组计算了平均工资。结果是一个具有多级索引的Series。然后，我们使用unstack方法将级别从索引移到列，创建了一个更易读的表格形式。
4.9 使用pivot_table函数
pivot_table函数提供了一种更直观的方式来创建交叉表：
import pandas as pd
import numpy as np
# 创建示例数据
np.random.seed(42)
data = {
'date': pd.date_range(start='2023-01-01', periods=1000),
'product': np.random.choice(['A', 'B', 'C'], 1000),
'region': np.random.choice(['North', 'South', 'East', 'West'], 1000),
'sales': np.random.randint(100, 1001, 1000)
}
df = pd.DataFrame(data)
# 创建透视表
pivot = pd.pivot_table(df, values='sales', index='product', columns='region',
aggfunc=[np.mean, np.median, np.sum])
print("Pivot table of sales by product and region:")
print(pivot)
在这个例子中，我们使用pivot_table函数创建了一个显示每个产品在每个地区的平均销售额、中位数销售额和总销售额的透视表。这提供了一种快速查看数据摘要的方法。
4.10 使用crosstab函数
crosstab函数用于计算分组频率：
import pandas as pd
import numpy as np
# 创建示例数据
np.random.seed(42)
data = {
'gender': np.random.choice(['Male', 'Female'], 1000),
'department': np.random.choice(['HR', 'IT', 'Finance'], 1000),
'satisfaction': np.random.choice(['Low', 'Medium', 'High'], 1000)
}
df = pd.DataFrame(data)
# 创建交叉表
cross_tab = pd.crosstab([df['gender'], df['department']], df['satisfaction'], normalize='index')
print("Cross-tabulation of satisfaction by gender and department:")
print(cross_tab)
Output:
在这个例子中，我们使用crosstab函数创建了一个显示不同性别和部门员工满意度分布的交叉表。normalize='index'参数使得结果显示为比例而不是计数。
5. 性能优化技巧
在处理大型数据集时，GroupBy和Quantile操作可能会变得很慢。以下是一些优化性能的技巧：
- 使用分类数据类型：对于分组列，将其转换为分类数据类型可以显著提高性能。
import pandas as pd
import numpy as np
# 创建大型示例数据
np.random.seed(42)
data = {
'category': np.random.choice(['A', 'B', 'C', 'D', 'E'], 1000000),
'value': np.random.randn(1000000)
}
df = pd.DataFrame(data)
# 将category列转换为分类类型
df['category'] = df['category'].astype('category')
# 进行分组操作
result = df.groupby('category')['value'].mean()
print("Result of groupby operation:")
print(result)
- 使用
numba加速：对于自定义聚合函数，可以使用numba库来加速计算。 -
使用
dask或vaex等库：对于非常大的数据集，考虑使用专门设计用于处理大数据的库。 -
预先排序：如果多次使用相同的分组，预先对数据进行排序可以提高后续操作的速度。
-
使用
groupby().apply()时要谨慎：这个操作可能会很慢，特别是对于大型数据集。尽可能使用内置的聚合函数。
6. 实际应用场景
GroupBy和Quantile在实际数据分析中有广泛的应用。以下是一些常见的应用场景：
6.1 金融分析
在金融分析中，我们经常需要计算不同资产类别或时间段的收益分布：
import pandas as pd
import numpy as np
# 创建示例金融数据
np.random.seed(42)
dates = pd.date_range(start='2022-01-01', end='2022-12-31', freq='D')
data = {
'date': dates,
'asset': np.random.choice(['Stocks', 'Bonds', 'Real Estate'], len(dates)),
'return': np.random.normal(0.0005, 0.02, len(dates))
}
df = pd.DataFrame(data)
# 计算每种资产的收益分布
return_distribution = df.groupby('asset')['return'].agg(['mean', 'std',
lambda x: x.quantile(0.05),
lambda x: x.quantile(0.95)])
return_distribution.columns = ['Mean', 'Std Dev', '5th Percentile', '95th Percentile']
print("Return distribution by asset class:")
print(return_distribution)
Output:
这个例子计算了每种资产类别的平均收益、标准差以及5%和95%分位数，提供了对收益分布的全面了解。
6.2 客户分析
在客户分析中，我们可能想要了解不同客户群的消费行为：
import pandas as pd
import numpy as np
# 创建示例客户数据
np.random.seed(42)
data = {
'customer_id': range(1000),
'age_group': np.random.choice(['18-30', '31-45', '46-60', '60+'], 1000),
'purchase_amount': np.random.lognormal(mean=4, sigma=1, size=1000)
}
df = pd.DataFrame(data)
# 分析每个年龄组的消费情况
purchase_analysis = df.groupby('age_group')['purchase_amount'].agg(['count', 'mean', 'median',
lambda x: x.quantile(0.25),
lambda x: x.quantile(0.75)])
purchase_analysis.columns = ['Count', 'Mean', 'Median', '25th Percentile', '75th Percentile']
print("Purchase analysis by age group:")
print(purchase_analysis)
Output:
这个例子分析了不同年龄组的购买行为，包括购买次数、平均购买金额、中位数以及25%和75%分位数。
6.3 产品质量控制
在制造业中，我们可能需要分析不同生产批次的产品质量：
import pandas as pd
import numpy as np
# 创建示例产品质量数据
np.random.seed(42)
data = {
'batch': np.repeat(['A', 'B', 'C', 'D'], 250),
'defect_rate': np.random.beta(2, 50, 1000)
}
df = pd.DataFrame(data)
# 分析每个批次的缺陷率
defect_analysis = df.groupby('batch')['defect_rate'].agg(['mean', 'std',
lambda x: x.quantile(0.95),
lambda x: x.quantile(0.99)])
defect_analysis.columns = ['Mean', 'Std Dev', '95th Percentile', '99th Percentile']
print("Defect rate analysis by batch:")
print(defect_analysis)
Output:
这个例子分析了每个生产批次的平均缺陷率、标准差以及95%和99%分位数，帮助识别可能存在问题的批次。
7. 结论
Pandas的GroupBy和Quantile功能为数据分析提供了强大而灵活的工具。通过分组，我们可以深入了解数据的不同子集，而分位数分析则帮助我们理解数据的分布特征。这些功能在金融、客户分析、质量控制等多个领域都有广泛应用。
在实际应用中，关键是要根据具体问题选择合适的分组方式和统计量。同时，对于大型数据集，需要注意性能优化，如使用分类数据类型、预先排序等技巧。
通过本文的详细介绍和丰富的示例，希望读者能够更好地掌握Pandas中GroupBy和Quantile的使用，并在实际数据分析工作中灵活运用这些工具。随着数据分析需求的不断增长和复杂化，熟练掌握这些技能将成为数据分析师和数据科学家的重要竞争力。