Pandas 如何在给定的DataFrame中清理字符串数据

Pandas是一个用于数据分析和处理的Python库。它提供了许多用于清理和格式化数据的函数。

在本文中，我们将学习如何在给定的Pandas DataFrame中清理字符串数据。我们将涵盖以下主题：

移除开头和结尾的空格
替换特殊字符
转换为小写
移除重复值
将字符串拆分为列
合并列
验证数据

移除开头和结尾的空格

strip()方法可用于从字符串中移除开头和结尾的空格。

例如，以下代码将从Name列中移除开头和结尾的空格：

代码

df['Name'] = df['Name'].str.strip()

替换特殊字符

replace()方法可用于替换字符串中的特殊字符。

例如，下面的代码将使用空字符串替换Name列中的逗号：

代码

df['Name'] = df['Name'].str.replace(',', '')

转换为小写

lower() 方法可用于将字符串转换为小写。

例如，以下代码将将 Name 列转换为小写：

代码

df['Name'] = df['Name'].str.lower()

去除重复值

可以使用drop_duplicates()方法从DataFrame中移除重复值。

例如，以下代码将从Name列中移除重复值：

代码

df = df.drop_duplicates('Name')

将字符串分割为列

split() 方法可用于将字符串分割成列。

例如，以下代码将 Name 列分割为两列，即 First Name 和 Last Name：

代码

df[['First Name', 'Last Name']] = df['Name'].str.split(' ', expand=True)

合并列

merge()方法可用于将两列合并为一列。

例如，以下代码将合并姓（First Name）和名（Last Name）列为一个名字（Name）列：

代码

df['Name'] = df['First Name'] + ' ' + df['Last Name']

验证数据

可以使用isna()方法检查值是否缺失。

例如，以下代码将检查年龄列中是否有任何缺失值：

代码

df['Age'].isna().any()

fillna()方法可用于用默认值填充缺失值。

例如，以下代码将用值0填充Age列中的缺失值：

代码

df['Age'].fillna(0, inplace=True)

现在让我们考虑一个代码，在这个代码中我们将使用上面提到的所有方法。

考虑下面显示的代码。

示例

import pandas as pd

# Step 1: Import the necessary modules

# Step 2: Load the DataFrame with string data
data = {'Name': [' John Doe ', 'Jane Smith', ' Mary Johnson '],
        'Email': ['john@example.com', 'jane@example.com', 'mary@example.com'],
        'Phone': ['123-456-7890', '555-123-4567', ''],
        'Address': ['New York', 'Los Angeles', None]}

df = pd.DataFrame(data)

# Step 3: Identify and handle missing values
df['Address'] = df['Address'].fillna('Unknown')

# Step 4: Apply string cleaning operations
df['Name'] = df['Name'].str.strip()
df['Name'] = df['Name'].str.lower()
df['Phone'] = df['Phone'].str.replace('-', '')
df['Email'] = df['Email'].str.split('@').str[1]

# Step 5: Verify the cleaned data
print(df)

说明

我们首先导入pandas模块，命名为pd，该模块提供了强大的数据操作功能。
在示例中，我们创建了一个包含字符串数据的DataFrame df。每列代表不同的属性，例如姓名、电子邮件、电话和地址。
我们使用fillna()方法，将’Address’列中的None值替换为字符串’Unknown’，以处理缺失值。
然后，对特定列应用字符串清理操作，使用不同的字符串方法：
- str.strip()从’Name’列中移除前导和尾随空格。
- str.lower()将’Name’列的值转换为小写。
- str.replace(‘-‘, ”)从’Phone’列中移除连字符。
- str.split(‘@’).str[1]将’Email’列的值在’@’符号处分割，并提取第二部分（域名）。

输出

Name        Email       Phone      Address
0      john doe  example.com  1234567890     New York
1    jane smith  example.com  5551234567  Los Angeles
2    mary johnson  example.com                  Unknown