Pandas 如何在数据帧中计算重复值

Pandas是一个流行的用于数据操作和分析的Python库。数据分析中的一个常见任务是计算Pandas数据帧中重复值的数量。重复值可能在多行中的所有列中具有相同的值，或者在某些列的子集中具有相同的值。

有不同的方法可以计算Pandas数据帧中的重复值，具体取决于分析的特定要求。一种常见的方法是使用duplicated()方法，该方法返回一个布尔系列，指示每行是否是先前行的重复行。默认情况下，该方法在检查重复项时考虑所有列，但可以通过将列的子集传递给subset参数来自定义此行为。

一旦确定了重复项，可以使用duplicated()返回的布尔系列的sum()方法来计算其数量。另外，我们也可以使用pivot_table()方法来计算重复项的计数。

另一种计算重复项的方法是使用groupby()方法按所关心的列对数据帧进行分组，然后计算每个组的出现次数。这可以通过使用结果分组的数据帧的size()方法来实现。

首先，让我们使用pivot_table()方法来计算可能存在于Pandas数据帧中的重复项的数量。

pivot_table

pivot_table()方法是Pandas数据帧中用于汇总和聚合数据的强大工具。它允许我们按一个或多个列对数据进行分组，并为每个组计算汇总统计信息。在计算重复项时，我们可以根据要检查重复项的列对数据进行分组，然后使用count()方法计算每个组的出现次数。

请考虑下面的代码，我们将使用pivot_table()方法。

示例

import pandas as pd

# create a sample DataFrame
df = pd.DataFrame({'A': [1, 2, 2, 3, 3, 3],
                'B': ['a', 'a', 'b', 'b', 'b', 'c'],
                'C': ['x', 'x', 'y', 'y', 'z', 'z']})

# group the data by columns A and B, and count the number of occurrences of each group
dup_counts = df.pivot_table(index=['A', 'B'], aggfunc='size')

print(dup_counts)

解释

在这个例子中，我们使用pivot_table()方法将DataFrame按照A列和B列分组，并使用size()方法计算每个分组的大小。结果中的dup_counts变量是一个Series，显示了A列和B列每个唯一值组合的出现次数。这些信息对于识别和分析DataFrame中的重复数据非常有用。

要运行这段代码，我们需要先安装pandas库，然后运行以下命令。

命令

pip3 install pandas
python3 main.py

上述命令的输出将会是：

输出

A  B
1  a    1
2  a    1
   b    1
3  b    2
   c    1
dtype: int64

duplicated()

duplicated()方法是Python的pandas库中的一个函数，用于在DataFrame中识别和返回重复的行。该方法通过将每一行与DataFrame中的所有其他行进行比较来识别重复的行，并返回一个布尔系列，其中True表示该行是重复的。

现在让我们通过一个例子来使用duplicated()方法。

考虑下面的代码。

示例

import pandas as pd

# create a sample DataFrame
df = pd.DataFrame({'A': [1, 2, 2, 3, 3, 3],
                'B': ['a', 'a', 'b', 'b', 'b', 'c'],
                'C': ['x', 'x', 'y', 'y', 'z', 'z']})

# identify the duplicated rows based on all columns
dups = df.duplicated()

# count the number of duplicated rows
dup_count = dups.sum()

print("Number of duplicated rows: ", dup_count)