极客笔记Pandas Apply 返回多列数据
参考：pandas apply return multiple columns
在数据分析和数据处理中，Pandas 是 Python 中最受欢迎的库之一。Pandas 提供了大量的功能来处理和分析数据，其中 apply() 函数是一个非常强大的工具，它允许用户对 DataFrame 或 Series 应用一个函数。本文将详细介绍如何使用 apply() 函数从一个应用函数中返回多列数据，并提供多个示例来展示其用法。
1. 理解 apply 函数
在 Pandas 中，apply() 函数可以被用于 DataFrame 的行或列，这取决于 axis 参数的设置（axis=0 表示应用于列，axis=1 表示应用于行）。当需要对数据集中的数据进行复杂处理时，apply() 函数非常有用。它的基本语法如下：
DataFrame.apply(func, axis=0, raw=False, result_type=None, args=(), **kwds)
func: 要应用的函数axis: 控制函数是应用在行还是列上raw: 如果为 True，则传递给 func 的是 ndarray 对象，如果为 False，则传递的是 Series 对象result_type: 控制返回的数据类型，可以是expand、reduce或broadcastargs: 传递给函数的额外参数**kwds: 关键字参数
2. apply 函数返回多列
使用 apply() 函数返回多列的一个常见方法是让函数返回一个具有多个值的 Series 对象。每个值将成为输出 DataFrame 的一列。下面是一些示例，展示如何实现这一点。
示例 1: 返回两个计算结果
import pandas as pd
def calculate_multiple_values(row):
return pd.Series([row['A'] + row['B'], row['A'] - row['B']], index=['sum', 'difference'])
df = pd.DataFrame({
'A': [1, 2, 3],
'B': [4, 5, 6]
})
result = df.apply(calculate_multiple_values, axis=1)
print(result)
Output:
示例 2: 根据条件返回不同的列
import pandas as pd
def check_values(row):
if row['A'] > row['B']:
return pd.Series(['A greater', row['A'] + row['B']], index=['comparison', 'sum'])
else:
return pd.Series(['B greater or equal', row['A'] * row['B']], index=['comparison', 'product'])
df = pd.DataFrame({
'A': [5, 2, 9],
'B': [3, 5, 7]
})
result = df.apply(check_values, axis=1)
print(result)
Output:
示例 3: 处理文本数据
import pandas as pd
def process_text(row):
return pd.Series([row['text'].upper(), len(row['text'])], index=['uppercase', 'length'])
df = pd.DataFrame({
'text': ['pandasdataframe.com', 'example', 'data']
})
result = df.apply(process_text, axis=1)
print(result)
Output:
示例 4: 计算统计数据
import pandas as pd
def compute_stats(row):
return pd.Series([row.mean(), row.std()], index=['mean', 'std_dev'])
df = pd.DataFrame({
'data1': [1, 2, 3],
'data2': [4, 5, 6],
'data3': [7, 8, 9]
})
result = df.apply(compute_stats, axis=0)
print(result)
Output:
示例 5: 创建新的日期特征
import pandas as pd
def extract_date_features(row):
return pd.Series([row['date'].year, row['date'].month, row['date'].day], index=['year', 'month', 'day'])
df = pd.DataFrame({
'date': pd.to_datetime(['2021-03-01', '2022-07-15', '2023-01-20'])
})
result = df.apply(extract_date_features, axis=1)
print(result)
Output:
3. 使用 apply 返回多列的高级技巧
在处理复杂数据时，我们可能需要从 apply 函数中返回多个列。这可以通过返回一个 Series 对象来实现，其中每个返回值都会成为 DataFrame 的一列。下面是一些更复杂的示例，展示如何在实际场景中应用这种技术。
示例 6: 多条件复杂计算
import pandas as pd
def complex_condition(row):
if row['A'] > 10:
return pd.Series([row['A'] * 2, row['B'] + 5], index=['A_twice', 'B_plus_5'])
else:
return pd.Series([row['A'] + 2, row['B'] - 5], index=['A_plus_2', 'B_minus_5'])
df = pd.DataFrame({
'A': [12, 5, 15],
'B': [20, 25, 30]
})
result = df.apply(complex_condition, axis=1)
print(result)
Output:
示例 7: 处理和转换字符串数据
import pandas as pd
def transform_text(row):
return pd.Series([row['text'].replace(' ', '_'), row['text'][0]], index=['modified_text', 'first_letter'])
df = pd.DataFrame({
'text': ['pandas dataframe', 'hello world', 'test string']
})
result = df.apply(transform_text, axis=1)
print(result)
Output:
示例 8: 计算行或列的最大值和最小值
import pandas as pd
def min_max(row):
return pd.Series([row.min(), row.max()], index=['min', 'max'])
df = pd.DataFrame({
'data1': [10, 20, 30],
'data2': [40, 50, 60],
'data3': [70, 80, 90]
})
result = df.apply(min_max, axis=0)
print(result)
Output:
示例 9: 创建基于现有数据的新指标
import pandas as pd
def create_metrics(row):
return pd.Series([row['sales'] * 0.1, row['costs'] * 0.2], index=['sales_tax', 'costs_tax'])
df = pd.DataFrame({
'sales': [100, 200, 300],
'costs': [50, 100, 150]
})
result = df.apply(create_metrics, axis=1)
print(result)
Output:
示例 10: 分析和处理时间序列数据
import pandas as pd
def time_series_analysis(row):
return pd.Series([row['timestamp'].month, row['value'] * 2], index=['month', 'double_value'])
df = pd.DataFrame({
'timestamp': pd.to_datetime(['2021-01-01', '2021-02-01', '2021-03-01']),
'value': [1, 2, 3]
})
result = df.apply(time_series_analysis, axis=1)
print(result)
Output:
结论
通过上述示例，我们可以看到 apply() 函数在处理和转换数据时的灵活性和强大功能。通过返回一个 Series 对象，apply() 函数可以轻松地从单个函数生成多个新列，这在数据预处理和特征工程中非常有用。