如何使用 Pandas 的 DataFrame 进行数据过滤

如何使用 Pandas 的 DataFrame 进行数据过滤

参考：pandas dataframe filter

在数据分析中，经常需要对数据进行筛选和过滤，以便专注于感兴趣的数据子集。Pandas 是 Python 数据分析的重要工具，它提供了强大的数据结构和数据操作功能。本文将详细介绍如何使用 Pandas 的 DataFrame 进行数据过滤，包括基于条件的过滤、文本数据的过滤以及时间序列数据的过滤等。

1. 基本的条件过滤

在Pandas中，可以使用布尔索引来过滤数据。这是一种非常直接的方法，可以根据一定的条件选择数据。

示例代码 1: 基于单个条件的过滤

import pandas as pd

# 创建一个示例 DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie', 'David'],
        'Age': [25, 30, 35, 40],
        'Email': ['alice@pandasdataframe.com', 'bob@pandasdataframe.com', 'charlie@pandasdataframe.com', 'david@pandasdataframe.com']}
df = pd.DataFrame(data)

# 过滤出年龄大于30的记录
filtered_df = df[df['Age'] > 30]
print(filtered_df)

Output:

示例代码 2: 基于多个条件的过滤

import pandas as pd

# 创建一个示例 DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie', 'David'],
        'Age': [25, 30, 35, 40],
        'Email': ['alice@pandasdataframe.com', 'bob@pandasdataframe.com', 'charlie@pandasdataframe.com', 'david@pandasdataframe.com']}
df = pd.DataFrame(data)

# 过滤出年龄大于25且名字以C开头的记录
filtered_df = df[(df['Age'] > 25) & (df['Name'].str.startswith('C'))]
print(filtered_df)

Output:

2. 使用 query 方法过滤

Pandas 的 query 方法提供了一种更易读的方式来过滤 DataFrame。

示例代码 3: 使用 query 方法过滤数据

import pandas as pd

# 创建一个示例 DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie', 'David'],
        'Age': [25, 30, 35, 40],
        'Email': ['alice@pandasdataframe.com', 'bob@pandasdataframe.com', 'charlie@pandasdataframe.com', 'david@pandasdataframe.com']}
df = pd.DataFrame(data)

# 使用 query 方法过滤年龄大于30的记录
filtered_df = df.query('Age > 30')
print(filtered_df)

Output:

3. 过滤缺失数据

处理缺失数据是数据预处理中的一个重要步骤。Pandas 提供了方便的方法来过滤掉缺失数据。

示例代码 4: 过滤掉含有 NaN 值的行

import pandas as pd
import numpy as np

# 创建一个示例 DataFrame
data = {'Name': ['Alice', 'Bob', None, 'David'],
        'Age': [25, 30, 35, None],
        'Email': ['alice@pandasdataframe.com', 'bob@pandasdataframe.com', 'charlie@pandasdataframe.com', None]}
df = pd.DataFrame(data)

# 过滤掉任何含有 NaN 值的行
filtered_df = df.dropna()
print(filtered_df)

Output:

4. 文本数据的过滤

在处理包含文本数据的 DataFrame 时，经常需要根据文本内容来过滤数据。

示例代码 5: 过滤包含特定字符串的记录

import pandas as pd

# 创建一个示例 DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie', 'David'],
        'Age': [25, 30, 35, 40],
        'Email': ['alice@pandasdataframe.com', 'bob@pandasdataframe.com', 'charlie@pandasdataframe.com', 'david@pandasdataframe.com']}
df = pd.DataFrame(data)

# 过滤出电子邮件中包含 "alice" 的记录
filtered_df = df[df['Email'].str.contains('alice')]
print(filtered_df)

Output:

5. 时间序列数据的过滤

处理时间序列数据时，经常需要根据日期来过滤数据。Pandas 提供了强大的支持来处理时间序列数据。

示例代码 6: 过滤特定日期之后的数据

import pandas as pd

# 创建一个示例 DataFrame
data = {'Date': ['2021-01-01', '2021-02-01', '2021-03-01', '2021-04-01'],
        'Value': [100, 200, 300, 400]}
df = pd.DataFrame(data)
df['Date'] = pd.to_datetime(df['Date'])

# 过滤出2021年2月1日之后的数据
filtered_df = df[df['Date'] > '2021-02-01']
print(filtered_df)

Output:

以上是使用 Pandas 进行 DataFrame 过滤的一些基本方法和示例。通过这些方法，可以有效地对数据进行筛选，从而进行更深入的数据分析。