Oct, 2022

不含泪的高斯 - 伯努利受限玻尔兹曼机

PDF
TL;DR我们提出了一种新颖的 Gibbs-Langewin 采样算法和改进的对比散度算法，可用于训练 Gaussian-Bernoulli restricted Boltzmann machines (GRBMs)。实验结果表明，我们的方法可以有效地训练 GRBMs，并且与深层生成模型进行了直接比较。
发现论文，激发创造
  • 利用高斯 - 二元受限玻尔兹曼机模拟自然图像统计

    本文从密度模型的角度出发，对高斯 - 二进制受限玻尔兹曼机（GRBM）进行理论分析，展示了 GRBM 的一些性能和限制，讨论了训练算法的几个关键点，并与其他改进的模型进行了比较。

    Jan, 2014

  • 快速且准确地训练和抽样受限波尔兹曼机

    通过凸优化过程将数据集的主要方向整合到低秩 RBM 中，从而通过静态蒙特卡罗过程实现平衡分布的高效采样，成功训练 RBM 来捕捉之前方法失败的高度结构化数据集中的全部多样性，并提出了一种新的采样方法 - 平行轨迹调整，使得能够比之前的 MCMC 方法更快地采样训练模型的平衡分布并更好地估计对数似然。

    May, 2024

  • 神经玻尔兹曼机

    介绍了一种新型条件生成模型（Neural Boltzmann Machines），可以很好地解决噪声离散或连续数据，使用随机梯度下降法进行训练，尤其在正常分布数据方面表现优越。

    May, 2023

  • 用受限玻尔兹曼机加速蒙特卡罗模拟

    本文提出了将人工神经网络用于蒙特卡罗方法的改进，使其在统计物理问题中的混合时间得以加速，具体应用于 Falicov-Kimball 模型，并在其相变点附近展示了接受比率和自相关时间的提高。

    Oct, 2016

  • 限制玻尔兹曼机的拓扑洞察

    本文从网络科学的角度，提出了一种基于小世界和无标度网络拓扑结构的约束 Restricted Boltzmann Machines 模型，它能够大大减少权重数量，提高生成能力，而不增加计算成本。

    Apr, 2016

  • 无偏差对比散度与本地模式初始化的深度玻尔兹曼机端到端训练

    本研究使用 Metropolis-Hastings 方法解决了深度 Boltzmann 机中梯度估计偏差的问题，提出一种无需贪婪预训练的端到端训练算法，实现了与其他深度生成模型相当的生成性能。

    May, 2023

  • 有条件的受限玻尔兹曼机用于结构化输出预测

    本文介绍了两种针对结构化输出问题的改进型学习算法：一种适用于输出空间具有任意结构但可能输出配置集较小的问题，另一种适用于输出空间具有任意结构且输出空间的可变性较大的问题。这些新型算法在这两种问题类型上都表现得比对比散度更好。

    Feb, 2012

  • 从蒙特卡罗到拉斯维加斯：通过停止集提高受限玻尔兹曼机训练

    本文提出了一种基于 MCLV-K 的梯度估算器 (LVS-K) 来改进 Restricted Boltzmann Machines (RBMs) 的训练过程，与传统的 CD-K 相比 LVS-K 性能更好，表明 MCLV 在学习生成模型方面具有潜在的优势。

    Nov, 2017

  • 带截断高斯图模型的无监督学习

    本文介绍了一种新型 GGMs 变体，其通过在 GGM 上施加二分结构，并使用截断正态分布来管理隐藏变量以放宽高斯限制，实现了非常有效的推断，进而建立了与修正线性单元（ReLU）神经网络的连接，用于真实值，二进制和计数数据的输出构建，还将该模型扩展到深层结构，并展示了深层模型可以用于修正单元神经网络的无监督预训练。大量实验证据证明了提出的模型相对于竞争模型的优越性。

    Nov, 2016

  • 面向脉冲神经形态系统的事件驱动对比散度

    通过神经抽样实现基于脉冲神经元和 STDP 联合训练的漏电 I&F 受限玻尔兹曼机，并在 MNIST 数据集上进行测试，旨在推进用于合成实用的高级功能的脉冲神经元网络的机器学习驱动方法。

    Nov, 2013