Python 如何处理分类变量的缺失值

缺失值在真实世界的数据集中是常见的情况，适当处理它们对于准确的数据分析和建模是至关重要的。在Python中处理分类变量时，有几种方法可以处理缺失值。在本文中，我们将探讨两种有效的处理缺失值的方法，为每种方法提供逐步算法。另外，我们还将提供真实可行的Python代码示例来展示这些方法的执行。

语法

让我们先熟悉一下我们将使用的方法的语法：

# Syntax for filling missing values using method_name
dataframe['column_name'].fillna(method_name, inplace=True)

步骤

步骤1 - 导入所需的库
步骤2 - 加载数据
步骤3 - 识别缺失值
步骤4 - 处理缺失值
步骤5 - 验证缺失值
步骤6 - 进行进一步的分析

已采用的数据集

Name,Age,Gender,Country
John,25,Male,USA
Alice,30,Female,Canada
Bob,35,Male,
Jane,27,
Mike,22,Male,Germany

方法1：众数填充

识别包含缺失值的分类列。

使用mode()函数计算相应列的众数（出现频率最高的值）。

使用fillna()方法中的method_name参数设置为’mode’，使用计算得到的众数填充缺失值。

示例

import pandas as pd

# Load the dataset
data = pd.read_csv('your_dataset.csv')

# Identify the column(s) with missing values
column_with_missing_values = 'Country'

# Compute the mode
mode_value = data[column_with_missing_values].mode()[0]

# Fill the missing values with mode
data[column_with_missing_values].fillna(mode_value, inplace=True)

# Verify the changes
print(data[column_with_missing_values].isnull().sum())

输出

解释

模式插补是处理分类变量缺失值的常见方法。它涉及用模式填充缺失值，模式表示列中最频繁的类别。以下是关于此方法如何工作的详细说明：

识别数据集中包含缺失值的列 – 首先，您需要确定包含缺失值的列。这些列将是模式插补过程的重点。

使用mode()函数处理各个列的方法 – 一旦确定了包含缺失值的列，您可以使用mode()函数计算每个列的方法。模式表示该列中最常出现的类别。

使用fillna()方法将缺失值填充为计算得到的模式 – 确定了模式后，您可以继续使用Python中的fillna()方法将分类列中的缺失值填充为计算得到的模式。通过将method_name参数设置为’mode’，可以实现这一点。通过将inplace=True，更改将直接应用于数据集。

模式插补是处理分类变量缺失值的一种直观而直接的方法。通过使用最常见的分类填充缺失值，它确保了该列中分类的总体分布保持相对不变。然而，需要注意的是，如果缺失值不是随机缺失的，这种方法可能会引入偏倚。此外，在存在多个具有缺失值的列的情况下，每个列应该单独处理。

方法2：随机抽样

识别包含缺失值的分类列。
使用numpy库生成与缺失值对应的随机索引。
使用unique()函数创建列中唯一类别的列表。
使用fillna()方法将缺失值替换为从列表中随机抽样的类别。

示例

import pandas as pd
import numpy as np

# Load the dataset
data = pd.read_csv('your_dataset.csv')

# Identify the column with missing values
column_with_missing_values = 'Gender'

# Generate random indices for missing values
missing_indices = data[data[column_with_missing_values].isnull()].index

# Get unique categories in the column
unique_categories = data[column_with_missing_values].unique()

# Replace missing values with random sampling
data.loc[missing_indices, column_with_missing_values] = np.random.choice(unique_categories, len(missing_indices))

# Verify the changes
print(data[column_with_missing_values].isnull().sum())

输出

解释

对于分类变量中的缺失值，随机抽样是一种替代方法。与使用众数填补缺失值不同，这种方法将缺失值替换为从该列中现有唯一类别中随机抽样的类别。以下是对该方法的详细说明：

识别包含缺失值的列 - 首先要找出数据集中包含缺失值的列。这些列将是随机抽样过程的焦点。

为缺失值产生随机索引 - 接下来，为绝对列中的缺失值生成与之对应的随机索引。可以使用如numpy等库来实现这一步骤。

创建列中的唯一类别列表 - 提取分类列中存在的唯一类别。这个列表将用于随机抽样。

用随机抽样替换缺失值 - 利用随机索引和唯一类别列表，将分类列中的缺失值替换为从列表中随机抽样的类别。可以使用fillna()方法执行此操作，将随机抽样的类别分配给指定索引的缺失值。

随机抽样为处理分类变量中的缺失值提供了灵活的方法。通过随机分配类别，它可以让填充值的变化具有可变性，并避免了由于使用众数填充可能引起的偏差。然而，需要注意的是，随机抽样可能会改变列中类别的分布，从而可能影响后续的分析或建模任务。另外，与众数填充一样，每个含有缺失值的列应该独立处理。

众数填充和随机抽样都提供了处理分类变量中缺失值的可行方法。选择哪种方法取决于数据集的特性和研究的目标。在做出决定之前，务必评估每种方法对数据的完整性和可靠性的可能影响。

结论

处理缺失值是数据预处理的一个关键步骤，在使用Python处理分类变量时，可以使用两种有效的方法-众数填充和随机抽样。众数填充方法使用最频繁的类别填充缺失值，而随机抽样方法使用现有唯一类别中随机选择的类别替换缺失值。通过使用这些方法，数据分析师和数据科学家可以确保分类数据的完整性和准确性。请记住根据您的特定数据集调整这些技术，并始终评估所选方法对分析的影响。