Pandas 在数据框中找到重复行的索引

在本文中，我们将介绍如何使用Pandas在数据框中找到重复行的索引。首先，我们需要了解什么是重复行。

数据框中的重复行指的是在每一行的所有列中具有相同值的两行或多行。当我们从数据库或文件加载数据时，有时可能会出现重复行。这些重复行可以造成数据分析的问题，因此我们需要找出它们并进行处理。

为了演示如何在Pandas中找到重复行，我们将使用一个示例数据集。该数据集包含一个名为“students”的数据框，其中包含学生的姓名，年龄和成绩。以下是数据集的前几行：

在上述示例数据集中，第0行和第2行是重复行，因为它们在所有列中都有相同的值。

阅读更多：Pandas 教程

方法一：使用.duplicated()方法

Pandas数据框提供了一个便捷的.duplicated()方法，可以返回数据框中重复行的布尔掩码。以下是如何使用.duplicated()方法找到示例数据集中的重复行的索引的示例代码：

import pandas as pd

# 读取数据集
students = pd.read_csv("students.csv")

# 计算重复行的掩码并返回其索引
mask = students.duplicated()
indexes = students.index[mask]

print(indexes)

输出结果如下：

Int64Index([2], dtype='int64')

在上述示例代码中，我们先使用read_csv()方法读取示例数据集。接下来，我们使用.duplicated()方法计算数据框中含有重复行的布尔掩码。最后，我们在掩码中使用index[]方法来获取重复行的索引。

值得注意的是，这种方法只会返回数据框中的第一个出现的重复行的索引。如果您想查找所有重复行的索引，请继续阅读本文下一个方法。

方法二：使用.drop_duplicates()方法

除了.duplicated()方法外，Pandas数据框还提供了一个.drop_duplicates()方法，可以返回没有重复行的数据框，并且可以让我们在处理数据之前剔除掉数据框中重复的行。如果我们只关心数据框中有哪些行是重复的，并希望将这些重复行筛选出来，则可以使用.drop_duplicates()方法，如下所示：

import pandas as pd

# 读取数据集
students = pd.read_csv("students.csv")

# 筛选重复行
duplicates = students[students.duplicated()]

print(duplicates)

输出结果如下：

    name  age  score
2  Alice   20   85.5

与方法一不同的是，上述示例代码返回了数据框中所有的重复行，而不仅仅是第一个重复行。我们可以在.drop_duplicates()方法中传递参数来进一步控制如何筛选重复行。例如，我们可以只根据指定的列进行筛选，如下所示：

import pandas as pd

# 读取数据集
students = pd.read_csv("students.csv")

# 按照指定列筛选重复行
duplicates = students[students.duplicated(subset=["name","age"])]

print(duplicates)

在上述示例代码中，我们只对“name”和“age”列进行了筛选，因此只有第二行被认为是重复行。

除了筛选重复行，.drop_duplicates()方法还可以用来删除数据框中的重复行。如果我们希望从数据框中删除所有的重复行，则可以在.drop_duplicates()方法中传递参数keep=False，如下所示：

import pandas as pd

# 读取数据集
students = pd.read_csv("students.csv")

# 删除所有重复行
students.drop_duplicates(keep=False, inplace=True)

print(students)

在上述示例代码中，我们使用了keep=False参数来删除所有的重复行，并且通过inplace=True参数来在原始数据框上直接进行修改。

总结

Pandas提供了多种方法来查找和去除数据框中的重复行。我们可以使用.duplicated()方法来计算含有重复行的布尔掩码，或使用.drop_duplicates()方法来筛选或删除重复行。在实际数据分析中，我们需要根据任务的需求和数据的特点来选择合适的方法来处理数据框中的重复行问题。