pandas apply函数详解|极客笔记

pandas apply函数详解

pandas是一个强大的Python数据分析库，它提供了许多功能，使数据预处理、分析及可视化变得简单高效。在pandas库中，apply函数是一个非常重要的工具，它允许用户对DataFrame或Series中的数据应用一个函数，可以是自定义的也可以是现有的函数。本文将详细介绍apply函数的使用方法，并通过多个示例代码展示其在数据处理中的应用。

1. apply函数基础

apply函数可以被用于pandas的Series和DataFrame对象。当用于Series对象时，它默认对每个元素应用指定的函数。当用于DataFrame时，它可以沿指定的轴应用一个函数，即可以对行或列进行操作。

示例代码1：对Series应用函数

import pandas as pd

# 创建一个Series对象
s = pd.Series(['pandasdataframe.com', 'data', 'analysis'])

# 使用apply函数将所有字符转换为大写
result = s.apply(lambda x: x.upper())
print(result)

Output:

pandas apply函数详解

示例代码2：对DataFrame的每一列应用函数

import pandas as pd

# 创建一个DataFrame对象
df = pd.DataFrame({
    'A': ['foo', 'bar', 'baz'],
    'B': ['pandasdataframe.com', 'example', 'test']
})

# 使用apply函数将每一列的元素转换为大写
result = df.apply(lambda x: x.str.upper())
print(result)

Output:

pandas apply函数详解

示例代码3：对DataFrame的每一行应用函数

import pandas as pd

# 创建一个DataFrame对象
df = pd.DataFrame({
    'A': [1, 2, 3],
    'B': [4, 5, 6]
})

# 使用apply函数计算每一行的总和
result = df.apply(lambda x: x.sum(), axis=1)
print(result)

Output:

pandas apply函数详解

2. 使用apply进行更复杂的数据处理

apply函数的真正威力在于它能够处理复杂的数据操作，包括条件逻辑、数据聚合等。

示例代码4：使用条件逻辑

import pandas as pd

# 创建一个DataFrame对象
df = pd.DataFrame({
    'A': [10, 20, 30],
    'B': [20, 30, 40]
})

# 使用apply函数应用条件逻辑
result = df.apply(lambda x: x[x > 15])
print(result)

Output:

pandas apply函数详解

示例代码5：结合多列数据

import pandas as pd

# 创建一个DataFrame对象
df = pd.DataFrame({
    'name': ['Alice', 'Bob', 'Cindy'],
    'score': [88, 92, 95],
    'email': ['alice@pandasdataframe.com', 'bob@pandasdataframe.com', 'cindy@pandasdataframe.com']
})

# 使用apply函数生成新的一列
df['info'] = df.apply(lambda x: f"{x['name']} ({x['score']}) - {x['email']}", axis=1)
print(df)

Output:

pandas apply函数详解

示例代码6：错误处理

import pandas as pd

# 创建一个DataFrame对象
df = pd.DataFrame({
    'data': ['100', '200', 'pandasdataframe.com', '400']
})

# 使用apply函数进行错误处理，转换为数值类型
def convert_to_int(x):
    try:
        return int(x)
    return None

result = df['data'].apply(convert_to_int)
print(result)

3. apply函数与其他函数的比较

pandas还提供了其他几个类似于apply的函数，如map, applymap等。这些函数虽然功能相似，但适用的场景和效率上有所不同。

示例代码7：使用map函数

import pandas as pd

# 创建一个Series对象
s = pd.Series(['pandasdataframe.com', 'data', 'analysis'])

# 使用map函数进行转换
result = s.map(lambda x: x.upper())
print(result)

Output:

pandas apply函数详解

示例代码8：使用applymap函数

import pandas as pd

# 创建一个DataFrame对象
df = pd.DataFrame({
    'A': ['foo', 'bar', 'baz'],
    'B': ['pandasdataframe.com', 'example', 'test']
})

# 使用applymap函数将每个元素转换为大写
result = df.applymap(lambda x: x.upper())
print(result)

4. 性能优化

虽然apply函数非常强大，但在处理大规模数据时可能会遇到性能瓶颈。优化技巧包括使用内置函数、向量化操作等。

示例代码9：使用内置函数

import pandas as pd

# 创建一个DataFrame对象
df = pd.DataFrame({
    'A': [1, 2, 3],
    'B': [4, 5, 6]
})

# 使用内置的sum函数而不是apply
result = df.sum()
print(result)

Output:

pandas apply函数详解

示例代码10：向量化操作

import pandas as pd

# 创建一个DataFrame对象
df = pd.DataFrame({
    'A': [10, 20, 30],
    'B': [20, 30, 40]
})

# 直接使用向量化操作而不是apply
result = df['A'] + df['B']
print(result)

Output:

pandas apply函数详解