如何在pandas中处理唯一值|极客笔记

如何在pandas中处理唯一值

在数据分析中，经常需要处理和分析数据集中的唯一值。pandas 是一个强大的 Python 数据分析工具库，它提供了多种方法来处理 DataFrame 或 Series 中的唯一值。本文将详细介绍如何在 pandas 中处理唯一值，包括查找唯一值、删除重复值、计算唯一值的数量等功能，并提供多个示例代码以帮助理解和实践。

查找唯一值

在 pandas 中，可以使用 unique() 函数来查找 Series 中的唯一值。此外，drop_duplicates() 函数可以用于删除 DataFrame 中的重复行。

示例代码 1: 使用 `unique()`

import pandas as pd

# 创建一个包含重复值的 Series
s = pd.Series(['pandasdataframe.com', 'example.com', 'pandasdataframe.com', 'data.com'])
unique_values = s.unique()
print(unique_values)

Output:

如何在pandas中处理唯一值

示例代码 2: 使用 `drop_duplicates()` 在 DataFrame 中删除重复行

import pandas as pd

# 创建一个 DataFrame
df = pd.DataFrame({
    'domain': ['pandasdataframe.com', 'example.com', 'pandasdataframe.com', 'data.com'],
    'value': [1, 2, 1, 4]
})
# 删除重复行
df_unique = df.drop_duplicates()
print(df_unique)

Output:

如何在pandas中处理唯一值

计算唯一值的数量

要计算 Series 或 DataFrame 中唯一值的数量，可以使用 nunique() 函数。

示例代码 3: 使用 `nunique()`

import pandas as pd

# 创建一个 Series
s = pd.Series(['pandasdataframe.com', 'example.com', 'pandasdataframe.com', 'data.com'])
unique_count = s.nunique()
print(unique_count)

Output:

如何在pandas中处理唯一值

过滤唯一值

有时候，我们可能只对那些在 Series 或 DataFrame 中唯一出现的值感兴趣。可以使用 duplicated() 函数结合布尔索引来过滤这些唯一值。

示例代码 4: 使用 `duplicated()` 过滤唯一值

import pandas as pd

# 创建一个 DataFrame
df = pd.DataFrame({
    'domain': ['pandasdataframe.com', 'example.com', 'pandasdataframe.com', 'data.com'],
    'value': [1, 2, 1, 4]
})
# 过滤出唯一值
df_unique = df[~df.duplicated('domain', keep=False)]
print(df_unique)

Output:

如何在pandas中处理唯一值

处理复杂数据结构中的唯一值

在处理复杂数据结构时，如嵌套列表或字典作为 DataFrame 的一部分时，我们需要更细致的操作来处理唯一值。

示例代码 5: 处理嵌套列表中的唯一值

import pandas as pd

# 创建一个包含嵌套列表的 DataFrame
df = pd.DataFrame({
    'domain': ['pandasdataframe.com', 'example.com', ['pandasdataframe.com', 'data.com'], 'data.com'],
    'value': [1, 2, [1, 4], 4]
})
# 展开列表并获取唯一值
df_exploded = df.explode('domain')
unique_domains = df_exploded['domain'].unique()
print(unique_domains)

Output:

如何在pandas中处理唯一值

使用 `value_counts()` 查找唯一值及其出现次数

value_counts() 函数可以用来计算 Series 中每个唯一值出现的次数。这对于数据分析尤其有用，因为它可以帮助我们了解数据的分布。

示例代码 6: 使用 `value_counts()`

import pandas as pd

# 创建一个 Series
s = pd.Series(['pandasdataframe.com', 'example.com', 'pandasdataframe.com', 'data.com'])
value_counts = s.value_counts()
print(value_counts)

Output:

如何在pandas中处理唯一值

结合使用 `groupby()` 和 `nunique()` 分析 DataFrame 中的唯一值

在处理 DataFrame 时，我们经常需要根据某些列对数据进行分组，并分析每个组中的唯一值情况。这可以通过结合使用 groupby() 和 nunique() 来实现。

示例代码 7: 使用 `groupby()` 和 `nunique()`

import pandas as pd

# 创建一个 DataFrame
df = pd.DataFrame({
    'domain': ['pandasdataframe.com', 'example.com', 'pandasdataframe.com', 'data.com', 'example.com'],
    'category': ['tech', 'news', 'tech', 'tech', 'news']
})
# 分组并计算每个组的唯一域名数量
grouped_unique = df.groupby('category')['domain'].nunique()
print(grouped_unique)

Output:

如何在pandas中处理唯一值