联合训练深度玻尔兹曼机进行分类

ICLRJan, 2013

联合训练深度玻尔兹曼机进行分类

Joint Training Deep Boltzmann Machines for Classification

Ian J. Goodfellow, Aaron Courville, Yoshua Bengio

TL;DR本文介绍了一种新的深度玻尔兹曼机联合训练方法，使用多预测训练策略同时训练 DBM 的所有层，得到的模型可以作为一个最大化广义伪似然的变分近似单一生成模型或近似平均的一类共享参数的循环网络。实验证明此方法的性能优于其他方法在分类精度和处理缺失输入方面。

Abstract

We introduce a new method for training deep boltzmann machines jointly. Prior methods of training DBMs require an initial learning pass that trains the model greedily, one layer at a time, or do not perform well on classification tasks. In our approach, we train all layers of the DBM s

deep boltzmann machines multi-prediction training generative model recurrent networks approximate inference

发现论文，激发创造

单调深度玻尔兹曼机

本研究提出了单调 Deep Boltzmann machines，架构允许全连接的权重结构的高效（近似）推理，可用于图像联合完成和分类。

Jul, 2023

无偏差对比散度与本地模式初始化的深度玻尔兹曼机端到端训练

本研究使用 Metropolis-Hastings 方法解决了深度 Boltzmann 机中梯度估计偏差的问题，提出一种无需贪婪预训练的端到端训练算法，实现了与其他深度生成模型相当的生成性能。

May, 2023

用深度玻尔兹曼机对文档进行建模

我们介绍了一种适用于从大型非结构化文档集中建模和提取潜在语义表示的深度玻尔兹曼机模型。我们成功地弥补了训练具有合适的参数绑定的 DBM 的明显困难。这种参数绑定实现了高效的预训练算法和一种有助于推理的状态初始化方案。该模型的训练效率与标准受限玻尔兹曼机一样高。我们的实验表明，与复制 Softmax 模型相比，该模型为未见数据分配更好的对数概率。从我们的模型中提取的特征在文档检索和文档分类任务上优于 LDA、复制 Softmax 和 DocNADE 模型。

Sep, 2013

无监督集成学习的深度学习方法

本文介绍了深度学习方法如何应用于众包和无监督集成学习，证明了在 Dawid 和 Skene 模型下，假定所有分类器是条件独立的，等价于具有单个隐藏节点的受限玻尔兹曼机 (RBM)，提出了采用基于 RBM 的深度神经网络 (DNN) 的方法来解决分类器强烈违反条件独立性假设的问题，实验结果表明，我们提出的 DNN 方法在各种模拟和实际数据集上表现优异，尤其是当数据违反条件独立性假设时。

Feb, 2016

使用深度混合玻尔兹曼机和去噪自编码器的在线半监督学习

本文提出两种新型的深度混合架构，即深度混合玻尔兹曼机和深度混合去噪自编码器，用于处理半监督学习问题，并将其应用于数据流领域以实现终身学习，旨在提高辨别任务的整体预测性能。结果表明，与伪标注、dropout 整流器网络相比，所提出的结构具有更好的性能。

Nov, 2015

利用概率计算机辅助的均场深度玻尔兹曼学习

利用概率计算机（p-computer）和意味场理论（Mean-Field Theory）辅助学习算法，该研究提出了用于训练难以处理的波尔兹曼机（Boltzmann Machines）的方法以及在可扩展的伊辛机器（Ising machines）中的应用。

Jan, 2024

使用双重随机 MCMC 学习深度生成模型

本文介绍了倍增随机梯度 MCMC 这一简单通用的方法，用于在折叠的连续参数空间中对深度生成模型进行（近似）贝叶斯推理。我们的方法不仅适用于密度估计和数据生成的任务，还可以用于缺失数据的填充，且在性能方面优于许多现有的竞争对手。

Jun, 2015

时间序列的玻尔兹曼机

本文综述了针对时间序列扩展的玻尔兹曼机，介绍了后向传递算法通过时间学习参数的实现。此外，为了解决在线学习中 BPTT 的计算复杂度随着时间序列长度的线性增长的问题，介绍了动态玻尔兹曼机（DyBM）及其基于时间本地性的学习规则，该规则与生物神经网络中的时序相关可塑性（STDP）有关，并被实验证实。

Aug, 2017

一种基于生成式受限玻尔兹曼机的高维动作数据建模方法

本文提出了在 RBMs 的能量函数中引入另一项以显式地建模输入数据中的局部空间交互作用，以建模全局动态和本地空间交互作用的理论扩展，通过提出的学习方法，在两个计算机视觉应用程序上评估了改进的 RBM 模型：面部表情识别和人体动作识别，并在基准数据库上展示了所提出算法的有效性。

Oct, 2017

量子玻尔兹曼机

本文提出了一种新的基于量子玻尔兹曼分布的机器学习方法，即量子玻尔兹曼机。通过对量子概率引入边界，可以使该机器学习模型的训练高效进行，同时也探讨了使用 D-Wave 等量子退火处理器进行训练和应用的可能性。

Jan, 2016