深度信念网络（DBN）在深度学习中的应用

介绍

深度信念网络（DBNs）是一种结合了无监督学习原则和神经网络的深度学习结构。它们由一层层限制玻尔兹曼机（RBMs）组成，每个RBMs都以无监督的方式逐个训练。一个RBMs的输出被用作下一个RBMs的输入，最后的输出则用于分类或回归等监督学习任务。

深度信念网络

DBNs已经在多个应用中被使用，包括图像识别、语音识别和自然语言处理。它们在许多任务中都显示出最先进的结果，是目前最强大的深度学习结构之一。

与RBMs等其他深度学习算法不同，DBNs不使用原始输入。它们在输入层操作，每个输入向量都有一个神经元，并经过多个层次，最后到达输出层，根据之前层次获取的概率生成输出。

DBN的结构

DBN的基本结构由多个层次的RBMs组成。每个RBMs通过学习输入数据的概率分布，成为一个生成模型。随着DBN的连续层次学习更高级别的特征，DBN的初始层级学习数据的基本结构。对于分类或回归等监督学习任务，使用DBN的最后一层。

DBN中的每个RBMs都是独立训练的，使用对比散度这一无监督学习方法。该方法可以近似得到关于RBM参数的数据的对数似然的梯度。然后，训练完毕的一个RBMs的输出就作为下一个RBMs的输入，通过将训练完毕的RBMs一层层堆叠在一起来实现。

DBN训练完毕后，可以通过使用类似反向传播的监督学习技术调整最后一层的权重来执行有监督学习任务。这个微调过程可以提高DBN在特定任务上的性能。

DBN的发展

最早的神经网络称为感知机，非常强大。根据我们的响应，它们可以帮助我们识别图片中的对象或判断我们对某种美食的喜好程度。但它们有限制，它们经常只考虑一条信息，很难理解周围正在发生的上下文。

反向传播是第二代神经网络的一种类型，它通过将接收到的输出与预期结果进行比较，并将误差值降低到零，这意味着每个感知机最终将达到其理想状态。

有向无环图（DAGs），通常被称为信念网络，是下一步帮助推理和学习问题的方法。它给我们带来的控制力比以往任何时候都更强大。

最后，深度信念网络（DBNs）可以用于创建我们可以存储在叶节点中的公平值，确保无论在过程中发生什么，我们总是有正确的解决方案。

DBN的工作原理

要直接获得像素输入信号，我们必须训练一个属性层。然后，通过将这些竞争兴趣群体的值视为像素，我们发现了最初获得的特征的特点。每当我们在网络中添加一个新的分区或特性子级，就会提高对训练数据集的对数敏损下限。

以下描述了深度置信网络的操作流程 −

我们首先在顶部的两个隐藏层中执行多次 Gibbs 采样迭代。顶部的两个隐藏层定义了 RBM。因此，此阶段成功从中删除一个样本。
之后，通过模型的其余部分运行单个祖先采样传递，从可见单元创建一个样本
我们将采用一种自底向上的方法来确定每层中潜在变量的值。贪婪的预训练从最低层的观察数据向量开始。然后它会调整生成权重的方向。

DBN的优势

DBN的主要优势之一是它们能够以无监督的方式从数据中学习特征。这意味着它们不需要标记数据，这可能是困难且耗时的。DBN还可以学习数据的分层表示，每一层学习越来越复杂的特征。对于像图像识别这样的应用程序，最早的层可以捕捉到边缘等基本细节，这种分层表示可以非常有帮助。然而，后续的层能够学习更复杂的性质，如形状和对象。

此外，DBN已被证明对过度拟合具有抵抗力，这是深度学习中的一个重大问题。这是由于 RBM 在其无监督预训练期间对模型正则化的贡献。在精调阶段仅使用少量标记数据来最小化过拟合的风险。

其他深度学习架构，如卷积神经网络（CNN）和循环神经网络（RNN），可以通过 DBN（RNN）来初始化它们的权重。因此，这些架构可以从一个坚实的初始权重集开始，提高其性能。

管理缺失数据的能力是 DBN 的另一个好处。在许多现实世界的应用中，数据可能会损坏或缺失。由于传统神经网络是针对完整和正确的数据进行工作的，因此可能需要辅助处理缺失数据。然而，通过使用一种称为“dropout”的方法，DBN可以学习到不受缺失数据存在影响的鲁棒特性。

DBN还可以用于生成文本和图像等生成活动。通过对 RBM 进行无监督预训练，DBN 可以学习到数据的概率分布，并可以生成类似于训练数据的新样本。这在计算机视觉等软件程序中可能非常有用，这些程序可以根据标签或其他特性创建新的图像。

从深度神经网络训练的角度来看，梯度消失问题是其中一个主要困难。在训练过程中，用于更新权重的梯度可能会随着网络层数的增加变得非常小，从而使得有效地训练网络变得具有挑战性。受限玻尔兹曼机（RBM）的无监督预训练的影响，深度置信网络（DBN）可以解决这个问题。每个RBM在预训练过程中学习到的数据表示相对稳定，并且在权重微小变化时不会发生剧烈变化。这意味着，在DBN针对有监督任务进行优化时，用于更新权重的梯度会显著增大，从而提高训练效率。

除了标准的深度学习任务，DBN还在多个行业中得到了有效应用，包括生物信息学、药物研发和金融预测。在生物信息学中，DBN被用于发现暗示疾病的基因表达数据中的模式，从而可以用于创建新的诊断工具。在药物发现领域，DBN被用于寻找具有潜力转化为药物的新化合物。金融行业利用DBN预测股票价格和其他金融变量。