Pandas drop_duplicates方法的使用|极客笔记

Pandas drop_duplicates方法的使用

pandas 是一个强大的数据处理库，它提供了许多方便的数据处理方法，其中之一就是 drop_duplicates。这个方法可以帮助我们去除数据集中的重复行，使得数据集更加整洁，也更便于我们进行后续的数据分析。本文将详细介绍 drop_duplicates 方法的使用。

1. 基本用法

drop_duplicates 方法的基本用法非常简单，只需要调用 DataFrame 对象的 drop_duplicates 方法即可。这个方法会返回一个新的 DataFrame 对象，其中已经去除了所有的重复行。

下面是一个简单的示例：

import pandas as pd

data = {
    'name': ['Alice', 'Bob', 'Charlie', 'Alice', 'Bob'],
    'age': [25, 32, 35, 25, 32],
    'city': ['New York', 'Los Angeles', 'Chicago', 'New York', 'Los Angeles']
}

df = pd.DataFrame(data)

df.drop_duplicates()
print(df)

Output:

Pandas drop_duplicates方法的使用

在这个示例中，我们首先创建了一个包含重复行的 DataFrame 对象。然后，我们调用 drop_duplicates 方法去除了所有的重复行。

2. 指定列去重

drop_duplicates 方法还可以指定列进行去重。这个功能在某些情况下非常有用，比如，我们只关心某些列是否重复，而不关心其他列。

下面是一个示例：

import pandas as pd

data = {
    'name': ['Alice', 'Bob', 'Charlie', 'Alice', 'Bob'],
    'age': [25, 32, 35, 25, 32],
    'city': ['New York', 'Los Angeles', 'Chicago', 'New York', 'Los Angeles']
}

df = pd.DataFrame(data)

df.drop_duplicates(subset=['name'])
print(df)

Output:

Pandas drop_duplicates方法的使用

在这个示例中，我们只关心 name 列是否重复，所以我们传递了 subset=['name'] 参数给 drop_duplicates 方法。

3. 保留重复行的第一行或最后一行

drop_duplicates 方法默认会保留重复行的第一行，如果我们想要保留最后一行，可以传递 keep='last' 参数给 drop_duplicates 方法。

下面是一个示例：

import pandas as pd

data = {
    'name': ['Alice', 'Bob', 'Charlie', 'Alice', 'Bob'],
    'age': [25, 32, 35, 25, 32],
    'city': ['New York', 'Los Angeles', 'Chicago', 'New York', 'Los Angeles']
}

df = pd.DataFrame(data)

df.drop_duplicates(keep='last')
print(df)

Output:

Pandas drop_duplicates方法的使用

在这个示例中，我们传递了 keep='last' 参数给 drop_duplicates 方法，所以 drop_duplicates 方法会保留重复行的最后一行。

4. 完全去除重复行

如果我们想要完全去除重复行，不保留任何一行，可以传递 keep=False 参数给 drop_duplicates 方法。

下面是一个示例：

import pandas as pd

data = {
    'name': ['Alice', 'Bob', 'Charlie', 'Alice', 'Bob'],
    'age': [25, 32, 35, 25, 32],
    'city': ['New York', 'Los Angeles', 'Chicago', 'New York', 'Los Angeles']
}

df = pd.DataFrame(data)

df.drop_duplicates(keep=False)
print(df)

Output:

Pandas drop_duplicates方法的使用

在这个示例中，我们传递了 keep=False 参数给 drop_duplicates 方法，所以 drop_duplicates 方法会完全去除重复行，不保留任何一行。

5. 在原地去除重复行

默认情况下，drop_duplicates 方法会返回一个新的 DataFrame 对象，如果我们想要在原地去除重复行，可以传递 inplace=True 参数给 drop_duplicates 方法。

下面是一个示例：

import pandas as pd

data = {
    'name': ['Alice', 'Bob', 'Charlie', 'Alice', 'Bob'],
    'age': [25, 32, 35, 25, 32],
    'city': ['New York', 'Los Angeles', 'Chicago', 'New York', 'Los Angeles']
}

df = pd.DataFrame(data)

df.drop_duplicates(inplace=True)
print(df)

Output:

Pandas drop_duplicates方法的使用