Feb, 2012

使用词观察值训练受限玻尔兹曼机

PDF
TL;DR本文描述了如何使用更高效的马尔可夫链蒙特卡罗算子来训练受限玻尔兹曼机 (RBM)，以有效地处理自然语言处理中的高维度多项式观察值，通过在数百万个单词 n-gram 上训练 RBM，并使用所学特征来提高分块和情感分类任务的性能，从而实现了后一项的最新成果。
restricted boltzmann machinek-ary discrete distributionsmarkov chain monte carlo operatorsn-gramsnatural language processing
发现论文，激发创造
  • 快速且准确地训练和抽样受限波尔兹曼机

    通过凸优化过程将数据集的主要方向整合到低秩 RBM 中，从而通过静态蒙特卡罗过程实现平衡分布的高效采样，成功训练 RBM 来捕捉之前方法失败的高度结构化数据集中的全部多样性，并提出了一种新的采样方法 - 平行轨迹调整，使得能够比之前的 MCMC 方法更快地采样训练模型的平衡分布并更好地估计对数似然。

    May, 2024

  • 利用高斯 - 二元受限玻尔兹曼机模拟自然图像统计

    本文从密度模型的角度出发，对高斯 - 二进制受限玻尔兹曼机（GRBM）进行理论分析，展示了 GRBM 的一些性能和限制，讨论了训练算法的几个关键点，并与其他改进的模型进行了比较。

    Jan, 2014

  • 从限制波尔兹曼机的隐藏层学习状态转移规则

    本文提出了一种从高维时间序列数据中提取少数基本隐藏变量的方法，并学习这些隐藏变量之间的状态转移规则的方法，实验结果表明该方法可以从观测到的状态转移中学习这些物理系统的动态，并预测未观测到的未来状态。

    Dec, 2022

  • 受限波尔兹曼机与张量网络态的等价性

    将 RBM 和 TNS 相连接，我们可以构建更强大的深度学习架构，并使用 TNS 内的纠缠熵限制来量化 RBM 的复杂数据集表现能力。同时，RBM 将量子多体状态表示为少量参数，这可能允许更有效的经典模拟。

    Jan, 2017

  • 离散受限玻尔兹曼机

    介绍了离散受限玻尔兹曼机，其是一种具有双分区交互的可视和隐藏离散变量的概率图模型，阐述了这些模型中的推断函数和分布式表示，以及它们在所述可视状态的任何概率分布上逼近任何给定精度的隐藏变量数量的界限，并使用代数方法和编码理论计算其维度。

    Jan, 2013

  • 用受限玻尔兹曼机加速蒙特卡罗模拟

    本文提出了将人工神经网络用于蒙特卡罗方法的改进，使其在统计物理问题中的混合时间得以加速，具体应用于 Falicov-Kimball 模型，并在其相变点附近展示了接受比率和自相关时间的提高。

    Oct, 2016

  • 无限受限玻尔兹曼机

    本文提出了一种对受限玻尔兹曼机的数学构造，它不需要指定隐藏单元的数量，通过将 RBM 扩展为对其隐藏单元进行排序的灵敏性，再通过精心选择的能量函数的定义，我们表明，无限多的隐藏单元的极限是有定义的，并且该算法在学习过程中可以自然和自适应地添加训练的隐藏单元。我们在实践中研究了这种无限 RBM 的行为，并表明其性能与 RBM 竞争性一致，同时不需要调整隐藏层大小。

    Feb, 2015

  • 使用 Frank-Wolfe 学习无限 RBMs

    本文提出一种无限受限玻尔兹曼机，其最大似然估计对应于一个约束的凸优化问题，并采用 Frank-Wolfe 算法解决该问题，这提供了一种可以解释为在每次迭代中插入一个隐藏单元的稀疏解，从而优化过程类似于不断增加复杂度的有限模型序列。因此，也可以用于识别适当数量的隐藏单元来进行优化。这种模型还可以用作传统最先进的 RBM 训练算法（如对比散度）的初始化，导致具有比随机初始化更高的测试似然的模型。

    Oct, 2017

  • 使用贪婪的量子搜索学习受限玻尔兹曼机

    我们提出了相应的量子算法来解决 Restricted Boltzmann Machines 结构学习问题，并证明这些算法相对于经典算法在这两类 RBMs 的结构学习中具有多项式加速。

    Sep, 2023

  • 神经玻尔兹曼机

    介绍了一种新型条件生成模型（Neural Boltzmann Machines），可以很好地解决噪声离散或连续数据，使用随机梯度下降法进行训练，尤其在正常分布数据方面表现优越。

    May, 2023