pandas append to dataframe|极客笔记

pandas append to dataframe

在数据分析和数据处理中，经常需要将新的数据添加到已有的DataFrame中。Pandas库提供了多种方式来实现这一功能，其中最常用的方法之一是使用append()函数。本文将详细介绍如何使用Pandas的append()函数来向DataFrame中添加数据，并提供多个示例代码以帮助理解和实践。

1. 理解`append()`函数

append()函数用于将一行或多行附加到DataFrame的末尾。此函数不会直接修改原始DataFrame，而是返回一个新的DataFrame，其中包含了原始数据和新增的数据。使用append()时，可以选择是否忽略原始DataFrame的索引。

示例代码 1：基本的append操作

import pandas as pd

# 创建两个DataFrame
df1 = pd.DataFrame({
    'A': ['A0', 'A1'],
    'B': ['B0', 'B1']
}, index=[0, 1])

df2 = pd.DataFrame({
    'A': ['A2'],
    'B': ['B2']
}, index=[2])

# 使用append函数
result = df1._append(df2)
print(result)

Output:

pandas append to dataframe

示例代码 2：忽略索引进行append

import pandas as pd

# 创建两个DataFrame
df1 = pd.DataFrame({
    'A': ['A0', 'A1'],
    'B': ['B0', 'B1']
}, index=[0, 1])

df2 = pd.DataFrame({
    'A': ['A2'],
    'B': ['B2']
}, index=[2])

# 使用append函数，忽略索引
result = df1._append(df2, ignore_index=True)
print(result)

Output:

pandas append to dataframe

2. 使用`append()`合并多个DataFrame

可以连续使用append()函数来合并多个DataFrame。每次append()操作都会创建一个新的DataFrame，因此在处理大量数据时需要注意性能问题。

示例代码 3：连续append多个DataFrame

import pandas as pd

# 创建三个DataFrame
df1 = pd.DataFrame({
    'A': ['A0', 'A1'],
    'B': ['B0', 'B1']
}, index=[0, 1])

df2 = pd.DataFrame({
    'A': ['A2', 'A3'],
    'B': ['B2', 'B3']
}, index=[2, 3])

df3 = pd.DataFrame({
    'A': ['A4', 'A5'],
    'B': ['B4', 'B5']
}, index=[4, 5])

# 连续使用append
result = df1._append(df2)._append(df3)
print(result)

Output:

pandas append to dataframe

3. 向DataFrame中添加不同结构的数据

当被添加的DataFrame拥有与原始DataFrame不同的列时，append()函数会自动处理列的对齐，不存在的列将被填充为NaN。

示例代码 4：添加具有不同列的DataFrame

import pandas as pd

# 创建两个结构不同的DataFrame
df1 = pd.DataFrame({
    'A': ['A0', 'A1'],
    'B': ['B0', 'B1']
}, index=[0, 1])

df2 = pd.DataFrame({
    'C': ['C2'],
    'D': ['D2']
}, index=[2])

# 使用append函数
result = df1._append(df2)
print(result)

Output:

pandas append to dataframe

4. 使用字典进行行追加

除了可以追加DataFrame外，append()函数还允许直接追加字典形式的数据。当使用字典追加时，字典的键对应DataFrame的列名。

示例代码 5：使用字典追加数据

import pandas as pd

# 创建一个DataFrame
df = pd.DataFrame({
    'A': ['A0', 'A1'],
    'B': ['B0', 'B1']
}, index=[0, 1])

# 使用字典追加数据
result = df._append({'A': 'A2', 'B': 'B2'}, ignore_index=True)
print(result)

Output:

pandas append to dataframe

5. 性能注意事项

虽然append()函数非常方便，但在处理大规模数据或在循环中频繁使用append()时，可能会导致性能问题。因为每次使用append()都会创建一个新的DataFrame，这可能会消耗大量的时间和内存。在这种情况下，建议使用更高效的数据结构如列表，将所有数据先收集在列表中，最后再转换为DataFrame。

示例代码 6：使用列表代替多次append以提高性能

import pandas as pd

# 初始化一个空的DataFrame
df = pd.DataFrame(columns=['A', 'B'])

# 初始化一个列表来存储数据
rows = []

# 模拟数据收集过程
for i in range(1000):
    rows.append({'A': f'A{i}', 'B': f'B{i}'})

# 最后一次性转换为DataFrame
df = pd.DataFrame(rows)
print(df)

Output:

pandas append to dataframe