Kolmogorov-Smirnov检验（KS检验）

简介

在统计分析中，有许多工具和方法被用来将原始数据转化为有见地的信息。Kolmogorov-Smirnov检验（KS检验）是一种非常有用的工具，以其适应性和稳定性而闻名。这种非参数检验是数据分析领域中的一个支柱，并以对比两个样本或者将样本与参考概率分布进行比较（单样本KS检验）而闻名。在这篇文章中，我们将解释KS检验的概念、用途和工作原理，并结合用Python编写的示例，以便更容易理解。

解码Kolmogorov-Smirnov检验

Kolmogorov-Smirnov检验（KS检验）是由Nikolai Smirnov和Andrey Kolmogorov开发的一种非参数技术，用于评估数据与给定分布的拟合程度，或者对比两个累积分布函数（CDFs）。由于它的非参数特性，它不对数据遵循特定分布的情况做出任何初始假设，从而增强了其适应性。

量化样本的经验分布函数（EDF）与参考分布的累积分布函数（CDF），或者两个经验样本的CDF之间最大间隙（D），是KS检验背后的基本思想。

Kolmogorov-Smirnov检验的Python示例

示例1：Python中的单样本KS检验

假设你有一个包含50个人体重的数据集，并且你认为这些体重属于正态分布。为了检验这个假设，进行一个单样本KS检验。以下是进行这个检验的Python代码 −

# Import necessary libraries
from scipy import stats
import numpy as np

# Generate a sample of size 50 from a normal distribution
np.random.seed(0)
sample = np.random.normal(loc=0, scale=1, size=50)

# One-sample KS Test
d_statistic, p_value = stats.kstest(sample, 'norm')

print("One-sample KS Test:")
print("D statistic:", d_statistic)
print("p-value:", p_value)

输出

One-sample KS Test:
D statistic: 0.10706475374815838
p-value: 0.5781417630622738

我们在这段代码中使用kstest函数的’norm’参数将样本与典型的正态分布进行比较。如果p值小于显著性水平（通常为0.05），则拒绝原假设，这表明数据可能不遵循正态分布。

示例2：Python中的双样本KS检验

假设你想要比较来自A市和B市的人的体重，看看它们是否来自同一分布。在这种情况下，双样本KS检验是理想的方法。进行此操作的Python代码如下所示：

# Generate another sample of size 50 from a normal distribution
sample_2 = np.random.normal(loc=0.5, scale=1.5, size=50)

# Two-sample KS Test
d_statistic_2, p_value_2 = stats.ks_2samp(sample, sample_2)

print("\nTwo-sample KS Test:")
print("D statistic:", d_statistic_2)
print("p-value:", p_value_2)

通过ks_2samp函数比较了两个样本的分布。如果p值小于我们设定的显著性水平，我们将拒绝原假设并得出结论：城市A和B的体重来自不同的分布。