May, 2010

深度信念网络和受限玻尔兹曼机的通用逼近结果的改进

PDF
TL;DR本文提出了一种新的算法改善了 Restricted Boltzmann Machines (RBM) 和 Deep Belief Networks (DBN) 在集合二进制向量的分布表示方面的问题，证明了一个由 Le Roux 和 Bengio 提出的猜想。
restricted boltzmann machinesdeep belief networksuniversal approximatorsbinary vectorsdistribution
发现论文，激发创造
  • 深度窄玻尔兹曼机是普适逼近器

    该研究表明，深窄玻尔兹曼机是可视单元活动上概率分布的普适逼近器，如果它们有足够多的隐藏层，每个层次含有与可见层相同数量的单元。该研究提供了普适逼近器所需的深度和宽度的上下界，并且解决了有关无向网络的各种直觉问题，并且特别表明，与狭窄的 S 型信念网络和受限玻尔兹曼机相比，深窄玻尔兹曼机至少与当前可用于这些模型的限制相一致。

    Nov, 2014

  • 受限玻尔兹曼机的表现能力和逼近误差

    本研究通过研究 Restricted Boltzmann Machines 所学习的概率分布，提出了几个具有代表性的概率分布，旨在展示该模型的表达能力。 结果表明，最大的 Kullback-Leibler 散度上界受限于 $n - log (m+1) - (m+1)/2^{log (m+1)}$，可以用于指定保证模型丰富性和达到特定误差容限的隐藏单元数。

    Jun, 2014

  • 具有离散单元的窄信念网络的通用逼近深度和错误

    本文研究了底层深度置信网络的最小层数，可以逼近任意概率分布，包括离散限制玻尔兹曼机和朴素贝叶斯模型，并考虑了有限状态空间和逼近误差容限为任意值等条件。

    Mar, 2013

  • ApproxDBN：用于鉴别式深度置信网络的近似计算

    通过有限精度变量、关键性分析、贪婪策略等技术实现近似深置信网络 (ApproxDBNs)，在保证目标准确率的前提下，最大化降低硬件实现的能耗。实验结果表明，通过限制准确度损失，能够显著降低硬件的处理精度。

    Apr, 2017

  • 单调深度玻尔兹曼机

    本研究提出了单调 Deep Boltzmann machines，架构允许全连接的权重结构的高效（近似）推理，可用于图像联合完成和分类。

    Jul, 2023

  • 受限波尔兹曼机与张量网络态的等价性

    将 RBM 和 TNS 相连接，我们可以构建更强大的深度学习架构，并使用 TNS 内的纠缠熵限制来量化 RBM 的复杂数据集表现能力。同时，RBM 将量子多体状态表示为少量参数，这可能允许更有效的经典模拟。

    Jan, 2017

  • 关于贝叶斯神经网络中近似推断表现的探讨

    通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

    Sep, 2019

  • 无限受限玻尔兹曼机

    本文提出了一种对受限玻尔兹曼机的数学构造，它不需要指定隐藏单元的数量，通过将 RBM 扩展为对其隐藏单元进行排序的灵敏性，再通过精心选择的能量函数的定义，我们表明，无限多的隐藏单元的极限是有定义的，并且该算法在学习过程中可以自然和自适应地添加训练的隐藏单元。我们在实践中研究了这种无限 RBM 的行为，并表明其性能与 RBM 竞争性一致，同时不需要调整隐藏层大小。

    Feb, 2015

  • 关于径向基函数神经网络的普遍逼近性质

    本文研究了一种新型的 RBF（径向基函数）神经网络，其中平滑因子被替换为位移，证明在激活函数具有一定条件下，这些网络能够逼近欧几里得空间中任何紧致子集上的任何连续多元函数。对于具有有限个固定中心的 RBF 网络，我们描述了保证任意精度逼近的条件。

    Apr, 2023

  • Hopfield 网络与受限玻尔兹曼机之间的映射

    本文介绍一种精确映射，将具备相关模式的 Hopfield 神经网络转换成具备高斯隐藏变量的 Restricted Boltzmann Machines，并在 MNIST 数据集上进行实验来验证该映射对 RBM 权重的有益初始化。

    Jan, 2021