从嵌套的单词列表生成Pandas共现矩阵

在本文中，我们将介绍如何使用Pandas和Python从嵌套的单词列表生成共现矩阵。共现矩阵是用于分析文本数据的一种有用工具，它可以帮助我们找到单词之间的关系。
阅读更多：Pandas 教程

准备数据

首先，我们需要将嵌套的单词列表转换为一维列表。假设我们有以下数据：

nested_list = [["apple", "banana", "orange"], ["orange", "pear", "banana"], ["banana", "kiwi", "apple", "orange"]]

我们可以使用两个循环遍历每个单词，并将它们添加到一个新的列表中：

word_list = []
for sublist in nested_list:
    for word in sublist:
        word_list.append(word)

现在，我们有一个包含所有单词的一维列表。

创建共现矩阵

接下来，我们需要使用Pandas创建一个共现矩阵。我们可以使用Pandas中的DataFrame对象来实现这一点。我们将创建一个DataFrame，其中行和列都是单词，每个单元格表示两个单词出现在同一子列表中的次数。

import pandas as pd

# Count co-occurrences
co_occurrences = pd.DataFrame(0, columns=word_list, index=word_list)
for sublist in nested_list:
    for word1 in sublist:
        for word2 in sublist:
            co_occurrences.at[word1, word2] += 1

该代码块使用嵌套循环遍历每个子列表，同时在DataFrame中递增两个单词之间的计数。

删除对角线和重复项

共现矩阵通常是对称的，因此我们只需要保留对角线下方的值。我们还需要将矩阵中的一些值乘以2，因为我们计算了每对单词的共现次数两次。

# Remove duplicates and diagonal
co_occurrences = co_occurrences.where(np.triu(np.ones(co_occurrences.shape), k=1).astype(np.bool))
co_occurrences *= 2

代码片段中使用了
“`numpy.triu“`函数来获取对角线下方的矩阵部分。接下来，我们使用“`where“`函数将其应用于共现矩阵中的所有项。最后，我们乘以2以纠正计算中的重复。

可视化共现矩阵

最后，我们可以使用
“`seaborn“`库中的“`heatmap“`函数来可视化共现矩阵。

import matplotlib.pyplot as plt
import seaborn as sns

# Create heatmap
sns.heatmap(co_occurrences, cmap='Blues', annot=True, fmt='g')
plt.show()

总结

本文介绍了如何使用Pandas和Python从嵌套的单词列表生成共现矩阵。通过共现矩阵，我们可以发现文本数据中单词之间的关系。在实际应用中，共现矩阵可以用于文本分析、推荐系统等场景。