pandas dataframe 合并|极客笔记

pandas dataframe 合并

在数据处理过程中，我们经常会需要合并不同的数据集，将它们整合成一个更大的数据集。在Python中，pandas库提供了丰富的函数和方法来实现数据框的合并操作。本文将详细介绍如何使用pandas进行数据框的合并操作。

1. 横向合并

横向合并是指将两个或多个数据框在水平方向上拼接在一起，以列为基准进行合并。pandas提供了concat()函数来实现横向合并。下面是一个简单的示例：

import pandas as pd

# 创建两个简单的数据框
df1 = pd.DataFrame({'A': [1, 2, 3],
                    'B': ['a', 'b', 'c']})

df2 = pd.DataFrame({'C': [4, 5, 6],
                    'D': ['d', 'e', 'f']})

# 使用concat函数横向合并两个数据框
result = pd.concat([df1, df2], axis=1)

print(result)

运行上面的代码后，会得到如下输出：

   A  B  C  D
0  1  a  4  d
1  2  b  5  e
2  3  c  6  f

从输出可以看出，两个数据框df1和df2被成功地横向合并，所生成的新数据框result包含了所有列。

2. 纵向合并

纵向合并是指将两个或多个数据框在垂直方向上拼接在一起，以行为基准进行合并。pandas提供了concat()函数来实现纵向合并。下面是一个简单的示例：

import pandas as pd

# 创建两个简单的数据框
df1 = pd.DataFrame({'A': [1, 2, 3],
                    'B': ['a', 'b', 'c']})

df2 = pd.DataFrame({'A': [4, 5, 6],
                    'B': ['d', 'e', 'f']})

# 使用concat函数纵向合并两个数据框
result = pd.concat([df1, df2])

print(result)

运行上面的代码后，会得到如下输出：

从输出可以看出，两个数据框df1和df2被成功地纵向合并，所生成的新数据框result包含了所有行。

3. 按列名合并

有时候，我们想要按照某个或多个列名来合并两个数据框。pandas提供了merge()函数来实现按列名合并。下面是一个简单的示例：

import pandas as pd

# 创建两个简单的数据框
df1 = pd.DataFrame({'key': ['A', 'B', 'C'],
                    'value': [1, 2, 3]})

df2 = pd.DataFrame({'key': ['A', 'B', 'D'],
                    'value': [4, 5, 6]})

# 使用merge函数按照列名合并两个数据框
result = pd.merge(df1, df2, on='key', how='inner')

print(result)

运行上面的代码后，会得到如下输出：

  key  value_x  value_y
0   A        1        4
1   B        2        5

从输出可以看出，两个数据框df1和df2根据列名key成功地按照内连接方式合并，所生成的新数据框result包含了共同列key和对应的value列。

4. 不同连接方式

在合并数据框时，除了内连接（inner）外，pandas还支持左连接（left）、右连接（right）和外连接（outer）等不同的连接方式。下面是一个简单的示例：

import pandas as pd

# 创建两个简单的数据框
df1 = pd.DataFrame({'key': ['A', 'B', 'C'],
                    'value': [1, 2, 3]})

df2 = pd.DataFrame({'key': ['A', 'B', 'D'],
                    'value': [4, 5, 6]})

# 内连接
result_inner = pd.merge(df1, df2, on='key', how='inner')

# 左连接
result_left = pd.merge(df1, df2, on='key', how='left')

# 右连接
result_right = pd.merge(df1, df2, on='key', how='right')

# 外连接
result_outer = pd.merge(df1, df2, on='key', how='outer')

print("内连接：")
print(result_inner)

print("左连接：")
print(result_left)

print("右连接：")
print(result_right)

print("外连接：")
print(result_outer)

运行上面的代码后，会得到如下输出：

内连接：
  key  value_x  value_y
0   A        1        4
1   B        2        5

左连接：
  key  value_x  value_y
0   A      1.0      4.0
1   B      2.0      5.0
2   C      3.0      NaN

右连接：
  key  value_x  value_y
0   A      1.0        4
1   B      2.0        5
2   D      NaN        6

外连接：
  key  value_x  value_y
0   A      1.0      4.0
1   B      2.0      5.0
2   C      3.0      NaN
3   D      NaN      6.0

从输出可以看出，不同连接方式生成的新数据框具有不同的行数和列数，根据不同的需求可以选择合适的连接方式。