Pandas中两个数据框之间的相关性分析|极客笔记

Pandas中两个数据框之间的相关性分析

参考：pandas correlation between two data frames

在数据分析中，了解不同数据集之间的相关性是非常重要的。这不仅可以帮助我们理解变量之间的关系，还可以为进一步的统计分析和机器学习模型提供基础。本文将详细介绍如何使用pandas库来计算两个数据框（DataFrame）之间的相关性。

1. pandas简介

pandas是一个强大的Python数据分析工具库，它提供了大量的功能来处理和分析数据。其中，DataFrame是pandas中最常用的数据结构，它是一个二维的、大小可变的、异质型的表格数据结构。

2. 相关性的类型

在统计学中，相关性衡量的是两个变量之间的线性关系的强度和方向。常见的相关系数包括皮尔逊相关系数、斯皮尔曼等级相关系数和肯德尔等级相关系数。

皮尔逊相关系数：衡量两个数据集间线性关系的强度。
斯皮尔曼等级相关系数：用于衡量两个变量的等级（排名）之间的相关性。
肯德尔等级相关系数：也是一种基于排名的相关性衡量方法，但计算方式与斯皮尔曼不同。

3. 创建示例数据

在介绍具体的计算方法之前，我们首先需要创建两个示例数据框，以便用于后续的相关性计算。

示例代码 1：创建数据框

import pandas as pd
import numpy as np

# 创建数据
data1 = {
    'A': np.random.randn(100),
    'B': np.random.rand(100) * 100,
    'C': np.random.randint(1, 100, 100)
}
data2 = {
    'X': np.random.randn(100) + 1,
    'Y': np.random.rand(100) * 50 + 50,
    'Z': np.random.randint(50, 150, 100)
}

# 创建DataFrame
df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)

print(df1)
print(df2)

Output:

Pandas中两个数据框之间的相关性分析

4. 计算相关性

4.1 皮尔逊相关系数

皮尔逊相关系数是最常用的相关性衡量方法之一，它反映了两个数据集之间的线性关系。

示例代码 2：计算皮尔逊相关系数

import pandas as pd
import numpy as np

# 创建数据
data1 = {
    'A': np.random.randn(100),
    'B': np.random.rand(100) * 100,
    'C': np.random.randint(1, 100, 100)
}
data2 = {
    'X': np.random.randn(100) + 1,
    'Y': np.random.rand(100) * 50 + 50,
    'Z': np.random.randint(50, 150, 100)
}

# 创建DataFrame
df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)

# 计算df1的A列与df2的X列的皮尔逊相关系数
pearson_corr = df1['A'].corr(df2['X'])
print("皮尔逊相关系数:", pearson_corr)

Output:

Pandas中两个数据框之间的相关性分析

4.2 斯皮尔曼等级相关系数

斯皮尔曼等级相关系数是非参数的，适用于非正态分布的数据和等级数据。

示例代码 3：计算斯皮尔曼等级相关系数

import pandas as pd
import numpy as np

# 创建数据
data1 = {
    'A': np.random.randn(100),
    'B': np.random.rand(100) * 100,
    'C': np.random.randint(1, 100, 100)
}
data2 = {
    'X': np.random.randn(100) + 1,
    'Y': np.random.rand(100) * 50 + 50,
    'Z': np.random.randint(50, 150, 100)
}

# 创建DataFrame
df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)

# 计算df1的B列与df2的Y列的斯皮尔曼等级相关系数
spearman_corr = df1['B'].corr(df2['Y'], method='spearman')
print("斯皮尔曼等级相关系数:", spearman_corr)

Output:

Pandas中两个数据框之间的相关性分析

4.3 肯德尔等级相关系数

肯德尔等级相关系数是另一种非参数的相关性衡量方法，它基于数据的排名来计算相关性。

示例代码 4：计算肯德尔等级相关系数

import pandas as pd
import numpy as np

# 创建数据
data1 = {
    'A': np.random.randn(100),
    'B': np.random.rand(100) * 100,
    'C': np.random.randint(1, 100, 100)
}
data2 = {
    'X': np.random.randn(100) + 1,
    'Y': np.random.rand(100) * 50 + 50,
    'Z': np.random.randint(50, 150, 100)
}

# 创建DataFrame
df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)

# 计算df1的C列与df2的Z列的肯德尔等级相关系数
kendall_corr = df1['C'].corr(df2['Z'], method='kendall')
print("肯德尔等级相关系数:", kendall_corr)

Output:

Pandas中两个数据框之间的相关性分析

5. 可视化相关性

理解数据的相关性不仅仅是计算相关系数那么简单，有时候通过可视化的方式可以更直观地看出数据之间的关系。我们可以使用散点图来可视化两个变量之间的关系。

示例代码 5：绘制散点图

import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

# 创建数据
data1 = {
    'A': np.random.randn(100),
    'B': np.random.rand(100) * 100,
    'C': np.random.randint(1, 100, 100)
}
data2 = {
    'X': np.random.randn(100) + 1,
    'Y': np.random.rand(100) * 50 + 50,
    'Z': np.random.randint(50, 150, 100)
}

# 创建DataFrame
df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)

plt.scatter(df1['A'], df2['X'])
plt.title('Scatter plot between df1[A] and df2[X]')
plt.xlabel('df1[A]')
plt.ylabel('df2[X]')
plt.show()

Output:

Pandas中两个数据框之间的相关性分析