Numpy 计算Python中的Jaccard相似度

在本文中，我们将介绍如何使用Numpy在Python中计算Jaccard相似度。

阅读更多：Numpy 教程

什么是Jaccard相似度？

Jaccard相似度是一种在集合上测量相似性的统计指标。它代表着两个集合交集的大小与并集的大小的比值。Jaccard相似度的范围在0到1之间，其中0表示两个集合没有交集，1表示两个集合完全相同。

例如，在Python中，我们可以有两个集合：

set1 = {1, 2, 3, 4}
set2 = {2, 3, 5, 6}

它们的交集为{2, 3}，并集为{1, 2, 3, 4, 5, 6}。因此，它们的Jaccard相似度为2/6或0.33。

Numpy实现Jaccard相似度

要使用Numpy计算Jaccard相似度，我们需要先将集合转换为二进制向量。我们可以使用Numpy数组来代表二进制向量。

例如，对于上面的示例，我们可以表示set1和set2的二进制向量为：

import numpy as np

set1 = np.array([1, 1, 1, 1, 0, 0])
set2 = np.array([0, 1, 1, 0, 1, 1])

这里我们将所有集合中出现的数字都标记为1，其它的位置都为0。

要计算这两个集合的Jaccard相似度，我们可以使用下面的代码：

jaccard = np.dot(set1, set2) / (np.sum(set1) + np.sum(set2) - np.dot(set1, set2))
print(jaccard)

这将输出0.33333333，与我们之前计算的结果相同。

示例

让我们看一个更复杂的示例。假设我们有一个由用户评分组成的数据集，我们想要计算每个用户之间的Jaccard相似度。我们可以将每个用户的评分看做一个集合，其中元素为已经评分的物品。

ratings = np.array([[1, 0, 1, 1],
                    [0, 1, 1, 0],
                    [1, 1, 0, 0],
                    [1, 0, 0, 1],
                    [1, 1, 1, 0]])

这里我们有5个用户和4个物品，评分用0和1表示。

要计算每个用户之间的Jaccard相似度，我们可以遍历每对用户，并使用Numpy计算它们之间的Jaccard相似度。

num_users = ratings.shape[0]
similarities = np.zeros((num_users, num_users))

for i in range(num_users):
    for j in range(i+1, num_users):
        set1 = ratings[i]
        set2 = ratings[j]
        jaccard = np.dot(set1, set2) / (np.sum(set1) + np.sum(set2) - np.dot(set1, set2))
        similarities[i, j] = jaccard
        similarities[j, i] = jaccard

print(similarities)

这将输出以下结果：

[[0.         0.4        0.42857143 0.33333333 0.66666667]
 [0.4        0.         0.33333333 0.25       0.6       ]
 [0.42857143 0.33333333 0.         0.28571429 0.66666667]
 [0.33333333 0.25       0.28571429 0.         0.5       ]
 [0.66666667 0.6        0.66666667 0.5        0.        ]]

您可以看到这些数字，您可能感到困惑，不知道它们代表什么。实际上，这些数字代表每对用户之间的Jaccard相似度。例如，第一行第二列的0.4表示用户1和用户2之间的Jaccard相似度。您会注意到，对角线上的数字是0，这是因为在计算Jaccard相似度时，每个用户与自己的相似度总是为1。