Jun, 2014

受限玻尔兹曼机的表现能力和逼近误差

PDF
TL;DR本研究通过研究 Restricted Boltzmann Machines 所学习的概率分布，提出了几个具有代表性的概率分布，旨在展示该模型的表达能力。 结果表明，最大的 Kullback-Leibler 散度上界受限于 $n - log (m+1) - (m+1)/2^{log (m+1)}$，可以用于指定保证模型丰富性和达到特定误差容限的隐藏单元数。
restricted boltzmann machinesprobability distributionskullback-leibler divergencehidden unitserror tolerance
发现论文，激发创造
  • 深度信念网络和受限玻尔兹曼机的通用逼近结果的改进

    本文提出了一种新的算法改善了 Restricted Boltzmann Machines (RBM) 和 Deep Belief Networks (DBN) 在集合二进制向量的分布表示方面的问题，证明了一个由 Le Roux 和 Bengio 提出的猜想。

    May, 2010

  • 条件受限玻尔兹曼机的几何与表现力

    本研究讨论了有关有向随机神经网络中条件概率分布的表示能力，证明了其可以用于表示条件马尔可夫随机场和带有限制支持的条件分布，研究了通用逼近器的最小尺寸、最大模型逼近误差以及可表示的条件分布集合的维数等等。我们贡献了新的工具，改进了现有有关有限支持限制玻尔兹曼机概率模型的研究结果。

    Feb, 2014

  • 无限受限玻尔兹曼机

    本文提出了一种对受限玻尔兹曼机的数学构造，它不需要指定隐藏单元的数量，通过将 RBM 扩展为对其隐藏单元进行排序的灵敏性，再通过精心选择的能量函数的定义，我们表明，无限多的隐藏单元的极限是有定义的，并且该算法在学习过程中可以自然和自适应地添加训练的隐藏单元。我们在实践中研究了这种无限 RBM 的行为，并表明其性能与 RBM 竞争性一致，同时不需要调整隐藏层大小。

    Feb, 2015

  • 使用词观察值训练受限玻尔兹曼机

    本文描述了如何使用更高效的马尔可夫链蒙特卡罗算子来训练受限玻尔兹曼机 (RBM)，以有效地处理自然语言处理中的高维度多项式观察值，通过在数百万个单词 n-gram 上训练 RBM，并使用所学特征来提高分块和情感分类任务的性能，从而实现了后一项的最新成果。

    Feb, 2012

  • 受限玻尔兹曼机的熵、自由能和功

    本文分析了受限玻尔兹曼机在统计物理上的训练过程，以小的条纹图案为例，计算了在训练的过程中信息熵、自由能和内能的变化以及可见层和隐藏层之间的互相关性增长，并使用蒙特卡洛模拟计算了能量函数的参数变化对受限玻尔兹曼机所做工的分布，并探讨了 Jarzynski 等式和训练前后自由能差的路径平均指数函数之间的关系。

    Apr, 2020

  • 离散受限玻尔兹曼机

    介绍了离散受限玻尔兹曼机，其是一种具有双分区交互的可视和隐藏离散变量的概率图模型，阐述了这些模型中的推断函数和分布式表示，以及它们在所述可视状态的任何概率分布上逼近任何给定精度的隐藏变量数量的界限，并使用代数方法和编码理论计算其维度。

    Jan, 2013

  • 受限玻尔兹曼机的几何形态

    本文从代数统计学和热带几何的角度研究了基于完全二分图的 restricted Boltzmann machine 模型及其可识别性和维数，得出了该模型的计算和解码方法和与线性门限函数的联系。

    Aug, 2009

  • 具有离散单元的窄信念网络的通用逼近深度和错误

    本文研究了底层深度置信网络的最小层数，可以逼近任意概率分布，包括离散限制玻尔兹曼机和朴素贝叶斯模型，并考虑了有限状态空间和逼近误差容限为任意值等条件。

    Mar, 2013

  • 深度窄玻尔兹曼机是普适逼近器

    该研究表明，深窄玻尔兹曼机是可视单元活动上概率分布的普适逼近器，如果它们有足够多的隐藏层，每个层次含有与可见层相同数量的单元。该研究提供了普适逼近器所需的深度和宽度的上下界，并且解决了有关无向网络的各种直觉问题，并且特别表明，与狭窄的 S 型信念网络和受限玻尔兹曼机相比，深窄玻尔兹曼机至少与当前可用于这些模型的限制相一致。

    Nov, 2014

  • 带有正则化轴突的玻尔兹曼机的通用表征

    通过对玻尔兹曼机的连接进行正则化，我们证明了正则化玻尔兹曼机能够表示任意分布，并且控制能量局部极小值的数量，从而实现了简化的采样和训练，同时能够存储指数级的任意相关可见模式，并与稠密关联记忆网络相关联。

    Oct, 2023