NIPSOct, 2017

使用 Frank-Wolfe 学习无限 RBMs

PDF
TL;DR本文提出一种无限受限玻尔兹曼机，其最大似然估计对应于一个约束的凸优化问题，并采用 Frank-Wolfe 算法解决该问题，这提供了一种可以解释为在每次迭代中插入一个隐藏单元的稀疏解，从而优化过程类似于不断增加复杂度的有限模型序列。因此，也可以用于识别适当数量的隐藏单元来进行优化。这种模型还可以用作传统最先进的 RBM 训练算法（如对比散度）的初始化，导致具有比随机初始化更高的测试似然的模型。
restricted boltzmann machineconvex optimizationfrank-wolfe algorithmsparse solutionhidden units
发现论文，激发创造
  • 无限受限玻尔兹曼机

    本文提出了一种对受限玻尔兹曼机的数学构造，它不需要指定隐藏单元的数量，通过将 RBM 扩展为对其隐藏单元进行排序的灵敏性，再通过精心选择的能量函数的定义，我们表明，无限多的隐藏单元的极限是有定义的，并且该算法在学习过程中可以自然和自适应地添加训练的隐藏单元。我们在实践中研究了这种无限 RBM 的行为，并表明其性能与 RBM 竞争性一致，同时不需要调整隐藏层大小。

    Feb, 2015

  • 使用词观察值训练受限玻尔兹曼机

    本文描述了如何使用更高效的马尔可夫链蒙特卡罗算子来训练受限玻尔兹曼机 (RBM)，以有效地处理自然语言处理中的高维度多项式观察值，通过在数百万个单词 n-gram 上训练 RBM，并使用所学特征来提高分块和情感分类任务的性能，从而实现了后一项的最新成果。

    Feb, 2012

  • 快速且准确地训练和抽样受限波尔兹曼机

    通过凸优化过程将数据集的主要方向整合到低秩 RBM 中，从而通过静态蒙特卡罗过程实现平衡分布的高效采样，成功训练 RBM 来捕捉之前方法失败的高度结构化数据集中的全部多样性，并提出了一种新的采样方法 - 平行轨迹调整，使得能够比之前的 MCMC 方法更快地采样训练模型的平衡分布并更好地估计对数似然。

    May, 2024

  • 限制玻尔兹曼机的拓扑洞察

    本文从网络科学的角度，提出了一种基于小世界和无标度网络拓扑结构的约束 Restricted Boltzmann Machines 模型，它能够大大减少权重数量，提高生成能力，而不增加计算成本。

    Apr, 2016

  • 用受限玻尔兹曼机加速蒙特卡罗模拟

    本文提出了将人工神经网络用于蒙特卡罗方法的改进，使其在统计物理问题中的混合时间得以加速，具体应用于 Falicov-Kimball 模型，并在其相变点附近展示了接受比率和自相关时间的提高。

    Oct, 2016

  • 单调深度玻尔兹曼机

    本研究提出了单调 Deep Boltzmann machines，架构允许全连接的权重结构的高效（近似）推理，可用于图像联合完成和分类。

    Jul, 2023

  • 组合优化的学习表示组合

    本研究提出了一种新方法，使用受限玻尔兹曼机（RBMs）来解决组合优化问题，从而有效地绕过在大型 RBMs 中学习的问题，并创建一个能够建模大型复杂多模态空间的系统。研究结果表明，这种方法可以有效地解决布尔可满足性问题和其他组合优化问题，对于相同的样本大小，这种方法可以提供比完全训练模型更准确的结果。

    Sep, 2019

  • 使用贪婪的量子搜索学习受限玻尔兹曼机

    我们提出了相应的量子算法来解决 Restricted Boltzmann Machines 结构学习问题，并证明这些算法相对于经典算法在这两类 RBMs 的结构学习中具有多项式加速。

    Sep, 2023

  • 受限玻尔兹曼机的熵、自由能和功

    本文分析了受限玻尔兹曼机在统计物理上的训练过程，以小的条纹图案为例，计算了在训练的过程中信息熵、自由能和内能的变化以及可见层和隐藏层之间的互相关性增长，并使用蒙特卡洛模拟计算了能量函数的参数变化对受限玻尔兹曼机所做工的分布，并探讨了 Jarzynski 等式和训练前后自由能差的路径平均指数函数之间的关系。

    Apr, 2020

  • 强化学习中基于奖励偏置的最大似然估计

    该研究提出了一种针对自适应控制的方法 - Reward-Biased Maximum Likelihood Estimate（RBMLE），旨在解决 Markov 链控制中的 “探索与开采问题” 和 “双控制问题”，同时在最优化参数时采用了一种新的乐观方法，该方法在各种情况下被证明是长期平均回报最优的，并在有限时间内具有与现有算法相当的抱怨。

    Nov, 2020