Pandas astype 和处理 NaN 值|极客笔记

Pandas astype 和处理 NaN 值

Pandas 是一个强大的 Python 数据分析库，它提供了许多工具来处理和分析数据。在数据处理过程中，经常会遇到需要改变数据类型或处理 NaN（Not a Number）值的情况。本文将详细介绍如何使用 Pandas 的 astype 方法来转换数据类型，以及如何处理 DataFrame 中的 NaN 值。

1. Pandas DataFrame 数据类型转换

在 Pandas 中，astype 方法用于显式地转换数据类型。这在数据清洗和预处理阶段尤其有用，比如将整数转换为浮点数，或将数字转换为类别数据。

示例代码 1：创建 DataFrame 并转换数据类型

import pandas as pd

# 创建一个示例 DataFrame
data = {'name': ['Alice', 'Bob', 'Charlie'],
        'age': [25, 30, 35],
        'income': ['50000', '60000', '70000']}
df = pd.DataFrame(data)

# 将 'income' 列的数据类型从字符串转换为整数
df['income'] = df['income'].astype(int)

print(df)

Output:

Pandas astype 和处理 NaN 值

示例代码 2：将整数列转换为浮点数

import pandas as pd

data = {'name': ['pandasdataframe.com', 'Bob', 'Charlie'],
        'age': [25, 30, 35]}
df = pd.DataFrame(data)

# 将 'age' 列的数据类型从整数转换为浮点数
df['age'] = df['age'].astype(float)

print(df)

Output:

Pandas astype 和处理 NaN 值

示例代码 3：将数字列转换为字符串

import pandas as pd

data = {'name': ['Alice', 'pandasdataframe.com', 'Charlie'],
        'age': [25, 30, 35]}
df = pd.DataFrame(data)

# 将 'age' 列的数据类型从整数转换为字符串
df['age'] = df['age'].astype(str)

print(df)

Output:

Pandas astype 和处理 NaN 值

2. 处理 DataFrame 中的 NaN 值

在处理实际数据时，经常会遇到缺失值，这些值在 DataFrame 中通常表示为 NaN。Pandas 提供了多种方法来处理这些缺失值，包括删除含有 NaN 的行或列，或者填充这些缺失值。

示例代码 4：检测 DataFrame 中的 NaN 值

import pandas as pd
import numpy as np

data = {'name': ['Alice', 'Bob', 'Charlie'],
        'age': [np.nan, 30, 35],
        'income': [50000, 60000, np.nan]}
df = pd.DataFrame(data)

# 检测 DataFrame 中的 NaN 值
nan_mask = df.isna()

print(nan_mask)

Output:

Pandas astype 和处理 NaN 值

示例代码 5：删除含有 NaN 值的行

import pandas as pd
import numpy as np

data = {'name': ['Alice', 'Bob', 'pandasdataframe.com'],
        'age': [25, np.nan, 35],
        'income': [50000, 60000, 70000]}
df = pd.DataFrame(data)

# 删除含有 NaN 值的行
df.dropna(inplace=True)

print(df)

Output:

Pandas astype 和处理 NaN 值

示例代码 6：填充 NaN 值

import pandas as pd
import numpy as np

data = {'name': ['Alice', 'pandasdataframe.com', 'Charlie'],
        'age': [25, np.nan, 35],
        'income': [50000, 60000, np.nan]}
df = pd.DataFrame(data)

# 使用特定值填充 NaN 值
df.fillna({'age': 30, 'income': 65000}, inplace=True)

print(df)

Output:

Pandas astype 和处理 NaN 值

3. 综合示例

在实际应用中，我们经常需要结合多种方法来处理数据。下面的示例展示了如何在一个 DataFrame 中同时进行数据类型转换和 NaN 值处理。

示例代码 7：数据类型转换和 NaN 值处理

import pandas as pd
import numpy as np

data = {'name': ['Alice', 'Bob', 'pandasdataframe.com'],
        'age': ['25', '30', np.nan],
        'income': ['50000', '60000', '70000']}
df = pd.DataFrame(data)

# 将 'age' 和 'income' 列的数据类型从字符串转换为浮点数
df['age'] = df['age'].astype(float)
df['income'] = df['income'].astype(float)

# 填充 'age' 列的 NaN 值
df['age'].fillna(30, inplace=True)

print(df)

示例代码 8：更复杂的数据清洗

import pandas as pd
import numpy as np

data = {'name': ['pandasdataframe.com', 'Bob', 'Charlie'],
        'age': [np.nan, 30, 35],
        'income': ['50000', '60000', '70000']}
df = pd.DataFrame(data)

# 将 'income' 列的数据类型从字符串转换为整数
df['income'] = df['income'].astype(int)

# 删除含有 NaN 值的行
df.dropna(subset=['age'], inplace=True)

print(df)

Output:

Pandas astype 和处理 NaN 值