pandas删除重复行|极客笔记

pandas删除重复行

在处理数据分析和清洗的过程中，经常会遇到重复的行数据，这些重复的数据会影响数据的准确性和分析结果。因此，我们需要对数据中的重复行进行处理，将其删除。在Python中，可以使用pandas库来快速、高效地处理数据，包括删除重复行。

pandas简介

pandas是Python中一个提供数据操作与分析的强大工具，它提供了快速、灵活、简单易用的数据结构，特别是DataFrame，能够轻松处理和操作结构化数据。

pandas删除重复行方法

在pandas中，要删除重复行数据，可以使用drop_duplicates()方法。该方法会根据数据中的列值进行去重，并返回一个新的DataFrame对象。

下面我们通过一个示例来演示如何使用pandas删除重复行：

首先，我们创建一个包含重复行的DataFrame对象：

import pandas as pd

data = {
    'id': [1, 2, 3, 4, 2],
    'name': ['Alice', 'Bob', 'Charlie', 'David', 'Bob'],
    'age': [25, 30, 35, 40, 30]
}

df = pd.DataFrame(data)
print(df)

运行以上代码，输出如下：

   id     name  age
0   1    Alice   25
1   2      Bob   30
2   3  Charlie   35
3   4    David   40
4   2      Bob   30

可以看到，DataFrame对象中有两行数据是重复的，id为2的行和name为Bob的行。

接下来，我们使用drop_duplicates()方法来删除这些重复行：

df_no_duplicates = df.drop_duplicates()
print(df_no_duplicates)

运行以上代码，输出如下：

   id     name  age
0   1    Alice   25
1   2      Bob   30
2   3  Charlie   35
3   4    David   40

可以看到，重复的行被成功删除了，返回的新DataFrame对象中只包含了不重复的数据。

指定列删除重复行

有时候，我们只需要对数据中的特定列进行去重，可以通过subset参数来指定要去重的列，例如：

df_no_duplicates_subset = df.drop_duplicates(subset=['name'])
print(df_no_duplicates_subset)

运行以上代码，输出如下：

   id     name  age
0   1    Alice   25
1   2      Bob   30
2   3  Charlie   35
3   4    David   40

可以看到，只对name列进行去重，返回的新DataFrame对象中只包含了不重复的name列数据。

保留重复行中的第一个或最后一个

有时候，我们需要保留重复行中的第一个或最后一个，可以通过keep参数指定。默认情况下，keep参数的取值为first，即保留第一个重复行。例如：

df_keep_first = df.drop_duplicates(keep='first')
print(df_keep_first)

运行以上代码，输出与之前删除重复行的结果相同。

如果需要保留重复行中的最后一个，可以将keep参数设置为last：

df_keep_last = df.drop_duplicates(keep='last')
print(df_keep_last)

运行以上代码，输出如下：

   id     name  age
0   1    Alice   25
2   3  Charlie   35
3   4    David   40
4   2      Bob   30

可以看到，重复行中的第一个Bob行被删除，只保留了最后一个Bob行。

总结

通过本文的介绍，我们学习了如何使用pandas库来删除重复行数据。在数据处理和清洗的过程中，及时去除重复的数据能够保证数据的准确性和分析结果的可靠性。

pandas删除重复行