什么时候在Python Pandas中使用crosstab和pivot_table？

在Python Pandas中，交叉表(crosstab)和透视表(pivot_table)可以帮助我们理解和处理数据集。它们的使用依赖于数据的类型和所需汇总的信息，这篇文章将深入探讨它们的使用场景和如何使用。

什么是交叉表和透视表？

交叉表(crosstab)

交叉表(crosstab)是一种用于计算分组频率的特殊透视表。通俗的说就是，交叉表是对两个或多个变量之间的关系进行统计汇总，在每个格子中进行计数。

例如，有以下数据集：

如果我们想知道gender和age之间的关系，我们可以使用crosstab。假设我们想计算age在18-24之间的Male和Female的数量。我们可以使用以下代码：

import pandas as pd

df = pd.DataFrame({'ID':[1,2,3,4,5],'Gender':['Male','Female','Male','Female','Female'],'Age':[18,24,25,28,21]})

pd.crosstab(df['Gender'], pd.cut(df['Age'], bins=[18, 24, 30]))

输出结果如下：

这里我们使用了pd.cut函数来将年龄分为18-24和24-30两个区间，同时使用crosstab计算gender和age之间在不同年龄区间的分布。

透视表(pivot_table)

透视表是一种数据汇总工具，它可以对数据按照某些列进行分组，根据行进行汇总，并使用一些聚合函数（例如：计数、平均值、标准差等）对数据进行统计分析。

例如，有以下数据集：

如果我们想按月份汇总销售额和利润，我们可以使用以下代码：

import pandas as pd

df = pd.DataFrame({'Month':['Jan','Jan','Feb','Feb'],'Sales':[100,200,300,400],'Profit':[20,30,40,50]})

pd.pivot_table(df, index='Month', values=['Sales','Profit'], aggfunc=sum)

输出结果如下：

在这个例子中，我们使用了pd.pivot_table函数对数据进行了透视，通过index参数来划分数据所要汇总的分组，我们选择了“Month”这一列，并使用values参数选择我们要汇总的值字段，这里我们选择了“Sales”和“Profit”两个字段，最后通过aggfunc参数来选择我们要对数据进行的操作，这里我们选择了求和操作。

什么时候使用交叉表和透视表？

交叉表(crosstab)

1. 当我们需要查看两个或多个变量之间的关系时，使用crosstab非常方便。例如，我们可以使用crosstab来计算两个变量之间在不同条件下的数量或比例。例如，我们可以计算出男性和女性的数量以及他们在不同年龄经济的占比，以此了解不同性别的年龄分布情况。

2. 当我们需要比较两个或多个变量的相对频率时，使用crosstab也非常有用。我们可以使用它来计算每个条件下的百分比，并将它们可视化，以便更好地理解数据。例如，我们可以使用crosstab来计算每个民族在不同城市中的分布情况，并使用百分比堆叠条形图来可视化比较不同民族在不同城市中的相对频率。

3. 当我们需要对一个数据集进行透视，但是不需要聚合计算时，也可以使用crosstab。与pivot_table不同，crosstab不需要聚合函数，因为它仅仅用于计算频率。

透视表(pivot_table)

1. 当我们需要对数据集进行透视并进行聚合计算时，使用pivot_table非常方便。例如，在我们分析销售业绩时，我们可以使用pivot_table来透视销售额、利润等信息，并使用聚合函数进行数据的分析和汇总。

2. 当我们需要从一个数据集中获取汇总统计信息，并以易于理解的方式呈现时，使用pivot_table也非常有用。例如，我们可以使用pivot_table来汇总每年的财务数据，并按月份和地区进行展示，以便更好地理解财务数据的变化趋势和走势。

3. 当我们需要了解每个分类的比较结果时，也可以使用pivot_table。例如，我们可以使用pivot_table计算每个民族/性别/年龄组的平均得分，并将它们可视化，以便更好地理解不同组之间的比较结果。

如何使用交叉表和透视表？

交叉表(crosstab)

使用crosstab很简单。我们可以使用以下语法：

pd.crosstab(index, columns, values=None, aggfunc=None, rownames=None, colnames=None, margins=False, dropna=True, normalize=False)

• index：定义行索引的变量名。
• columns：定义列索引的变量名。
• values：可选，表示需要汇总的变量。
• aggfunc：可选，表示需要对values进行聚合的函数，默认为计数。
• rownames：可选，为行索引命名。
• colnames：可选，为列索引命名。
• margins：可选，表示是否横向和纵向添加总和，默认为False。
• dropna：可选，表示是否删除NA值，默认为True。
• normalize：可选，表示是否将结果归一化成百分比，而不是出现次数，默认为False。

以下是一个用于计算身高体重BMI指数的例子：

import pandas as pd

df = pd.DataFrame({'Gender':['Male','Female','Male','Female','Female'],'Height':[175,160,180,170,155],'Weight':[70,50,80,60,45]})

pd.crosstab(pd.cut(df['Height'], bins=[150, 160, 170, 180]), pd.cut(df['Weight'], bins=[40, 50, 60, 70, 80]), values=df['Weight']/df['Height']**2, aggfunc='mean', normalize='index')

这里我们使用了pd.cut函数将身高和体重分为不同的区间，并用于计算BMI指数。我们还使用values参数传递需要汇总的变量，使用aggfunc参数来选择计算平均值，使用normalize参数将结果归一化成百分比。

透视表(pivot_table)

使用pivot_table也很简单。我们可以使用以下语法：

pd.pivot_table(data, values=None, index=None, columns=None, aggfunc='mean', fill_value=None, margins=False, dropna=True,sort=True)

• data：需要透视的数据集。
• values：需要计算的变量。
• index：用于分组的列名。
• columns：用于列分组的列名。
• aggfunc：聚合函数，可以是sum、mean、median、count等函数，默认为平均数mean。
• fill_value：缺失值替换为fill_value参数提供的值，默认为None。
• margins：是否在最后添加“总计”汇总信息，默认为False。
• dropna：是否删除空值行，默认为True。
• sort：是否对结果进行排序，默认为True。

以下是一个用于分析每个地区每个月的销售额和利润的例子：

import pandas as pd

df = pd.DataFrame({'Region':['North','North','South','South'],'Month':['Jan','Feb','Jan','Feb'],'Sales':[300,400,500,600],'Profit':[20,30,40,50]})

pd.pivot_table(df, index='Region', columns='Month', values=['Sales','Profit'], aggfunc=sum)

这里我们将数据根据“Region”分组，再根据“Month”进行分列，使用values参数选择需要计算的值，使用aggfunc参数选择求和函数。

结论

可以看出，交叉表(crosstab)和透视表(pivot_table)各自有不同的使用场景和优势。当我们需要统计汇总数据的频率或比例时，应该使用crosstab，而当我们需要对数据集进行透视并进行聚合计算时，应该使用pivot_table。无论我们选择哪种方法，我们都可以从数据集中提取出有用的信息，并为我们的决策和分析提供洞察力。