Pandas中两个序列之间的相关性分析|极客笔记

Pandas中两个序列之间的相关性分析

参考：pandas correlation between two series

在数据分析中，衡量两个变量之间的相关性是一项常见的任务，它有助于我们理解一个变量的变化是否会影响另一个变量的变化。Pandas库提供了一系列的方法来计算序列（Series）之间的相关性。本文将详细介绍如何使用Pandas来计算两个序列之间的相关性，并提供多个示例代码以帮助理解和实践。

1. 相关性的基本概念

在统计学中，相关系数用于量化两个变量之间的线性关系的强度和方向。相关系数的值范围从-1到1：
– 当相关系数为1时，表示两个变量之间存在完美的正线性关系；
– 当相关系数为-1时，表示两个变量之间存在完美的负线性关系；
– 当相关系数为0时，表示两个变量之间没有线性关系。

2. Pandas中计算相关性的方法

Pandas提供了.corr()方法来计算两个序列之间的相关性。默认情况下，这个方法计算的是皮尔逊相关系数，但也可以计算斯皮尔曼相关系数或肯德尔相关系数。

示例代码1：计算皮尔逊相关系数

import pandas as pd

# 创建两个序列
s1 = pd.Series([1, 2, 3, 4, 5], name="pandasdataframe.com")
s2 = pd.Series([5, 4, 3, 2, 1], name="pandasdataframe.com")

# 计算皮尔逊相关系数
pearson_corr = s1.corr(s2)
print(pearson_corr)

Output:

Pandas中两个序列之间的相关性分析

示例代码2：计算斯皮尔曼相关系数

import pandas as pd

# 创建两个序列
s1 = pd.Series([1, 2, 3, 4, 5], name="pandasdataframe.com")
s2 = pd.Series([5, 4, 3, 2, 1], name="pandasdataframe.com")

# 计算斯皮尔曼相关系数
spearman_corr = s1.corr(s2, method='spearman')
print(spearman_corr)

Output:

Pandas中两个序列之间的相关性分析

示例代码3：计算肯德尔相关系数

import pandas as pd

# 创建两个序列
s1 = pd.Series([1, 2, 3, 4, 5], name="pandasdataframe.com")
s2 = pd.Series([5, 4, 3, 2, 1], name="pandasdataframe.com")

# 计算肯德尔相关系数
kendall_corr = s1.corr(s2, method='kendall')
print(kendall_corr)

Output:

Pandas中两个序列之间的相关性分析

3. 处理数据缺失

在实际应用中，数据往往不是完美的，可能会有缺失值。Pandas的.corr()方法默认会排除缺失值。

示例代码4：处理缺失值

import pandas as pd

# 创建两个序列，包含缺失值
s1 = pd.Series([1, 2, None, 4, 5], name="pandasdataframe.com")
s2 = pd.Series([5, None, 3, 2, 1], name="pandasdataframe.com")

# 计算相关系数，自动排除缺失值
corr_with_missing = s1.corr(s2)
print(corr_with_missing)

Output:

Pandas中两个序列之间的相关性分析

4. 多变量的相关性分析

虽然.corr()方法主要用于计算两个序列之间的相关性，但如果你有一个DataFrame，你可以计算所有变量之间的相关性矩阵。

示例代码5：计算DataFrame中所有变量的相关性矩阵

import pandas as pd

# 创建一个DataFrame
df = pd.DataFrame({
    "A": [1, 2, 3, 4, 5],
    "B": [5, 4, 3, 2, 1],
    "C": [2, 3, 4, 5, 6]
}, index=["pandasdataframe.com"] * 5)

# 计算相关性矩阵
corr_matrix = df.corr()
print(corr_matrix)

Output:

Pandas中两个序列之间的相关性分析