Numpy 如何从连接/距离矩阵计算聚类分配

在聚类分析中，距离矩阵或连接矩阵是关键的数据结构。距离矩阵表示数据点之间的距离，而连接矩阵则表示已经组合在一起的数据点之间的距离。Numpy提供了一些函数来计算连接/距离矩阵，包括scipy.cluster.hierarchy.linkage和scipy.spatial.distance.pdist等。本篇文章将介绍如何使用这些函数来计算聚类分配。

阅读更多：Numpy 教程

构造距离矩阵

距离矩阵是一个对称矩阵，其中每个元素表示两个数据点之间的距离。在这里，我们使用scipy.spatial.distance.pdist函数来计算距离矩阵。该函数可以计算各种距离度量，例如欧几里得距离（Euclidean distance）、曼哈顿距离（Manhattan distance）和闵可夫斯基距离（Minkowski distance）等。

import numpy as np
from scipy.spatial.distance import pdist

data = np.random.randn(10, 3)
dist = pdist(data, metric='euclidean')

在此示例中，我们生成了一个10×3的随机数据矩阵，并使用欧几里得距离来计算距离矩阵。

构造连接矩阵

连接矩阵是一个表示组合在一起的数据点之间的距离的矩阵。在这里，我们使用scipy.cluster.hierarchy.linkage函数来计算连接矩阵。该函数接受一个距离矩阵，并根据设定的距离度量来计算连接矩阵。

from scipy.cluster.hierarchy import linkage

Z = linkage(dist, method='average')

在此示例中，我们使用了average聚类方法来计算连接矩阵。连接矩阵的每一行表示两个数据点的合并，包括它们之间的距离和两个聚类中数据点的数量。例如，第一行 [0, 1, 0.1928, 2] 表示将第0个和第1个数据点合并成一个聚类，它们之间的距离为0.1928，该聚类中包含了两个数据点。

计算聚类分配

一旦有了连接矩阵 Z，我们就可以使用scipy.cluster.hierarchy.fcluster函数来计算聚类分配。该函数需要指定一个阈值，以决定如何将数据点分组成聚类。例如，可以将阈值设置为聚类之间的最大距离，或者将阈值设置为聚类数的个数。

from scipy.cluster.hierarchy import fcluster

max_d = 0.5
clusters = fcluster(Z, max_d, criterion='distance')

在此示例中，我们将阈值设置为0.5，表示每个聚类之间的距离不超过0.5个单位。函数返回一个数组，其中每个元素表示对应数据点所属的聚类编号。

可视化结果

为了进一步了解聚类结果，可以使用 matplotlib 库来可视化数据点和聚类分配。

import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D

fig = plt.figure()
ax = fig.add_subplot(111, projection='3d')
ax.scatter(data[:, 0], data[:, 1], data[:, 2], c=clusters, cmap='viridis')
plt.show()

在此示例中，我们使用三维散点图可视化了数据点和聚类分配。不同的颜色代表不同的聚类，每个数据点被标记为其所属的聚类。

总结

在本文中，我们介绍了如何使用 Numpy 来计算连接/距离矩阵和聚类分配。距离矩阵计算使用了scipy.spatial.distance.pdist函数，连接矩阵计算使用了scipy.cluster.hierarchy.linkage函数，聚类分配计算使用了scipy.cluster.hierarchy.fcluster函数。我们还使用 matplotlib 库来可视化聚类结果。

除了上述示例，Numpy还提供了其他计算连接/距离矩阵和聚类分配的函数。例如，可以使用scipy.spatial.distance.squareform函数将距离数组转换为距离矩阵，或者使用scipy.cluster.hierarchy.dendrogram函数来可视化连接矩阵。掌握这些工具可以帮助我们更好地进行聚类分析。