单调深度玻尔兹曼机
本文介绍了一种新的深度玻尔兹曼机联合训练方法,使用多预测训练策略同时训练 DBM 的所有层,得到的模型可以作为一个最大化广义伪似然的变分近似单一生成模型或近似平均的一类共享参数的循环网络。实验证明此方法的性能优于其他方法在分类精度和处理缺失输入方面。
Jan, 2013
本研究使用 Metropolis-Hastings 方法解决了深度 Boltzmann 机中梯度估计偏差的问题,提出一种无需贪婪预训练的端到端训练算法,实现了与其他深度生成模型相当的生成性能。
May, 2023
通过凸优化过程将数据集的主要方向整合到低秩 RBM 中,从而通过静态蒙特卡罗过程实现平衡分布的高效采样,成功训练 RBM 来捕捉之前方法失败的高度结构化数据集中的全部多样性,并提出了一种新的采样方法 - 平行轨迹调整,使得能够比之前的 MCMC 方法更快地采样训练模型的平衡分布并更好地估计对数似然。
May, 2024
我们介绍了一种适用于从大型非结构化文档集中建模和提取潜在语义表示的深度玻尔兹曼机模型。我们成功地弥补了训练具有合适的参数绑定的 DBM 的明显困难。这种参数绑定实现了高效的预训练算法和一种有助于推理的状态初始化方案。该模型的训练效率与标准受限玻尔兹曼机一样高。我们的实验表明,与复制 Softmax 模型相比,该模型为未见数据分配更好的对数概率。从我们的模型中提取的特征在文档检索和文档分类任务上优于 LDA、复制 Softmax 和 DocNADE 模型。
Sep, 2013
利用概率计算机(p-computer)和意味场理论(Mean-Field Theory)辅助学习算法,该研究提出了用于训练难以处理的波尔兹曼机(Boltzmann Machines)的方法以及在可扩展的伊辛机器(Ising machines)中的应用。
Jan, 2024
本文从网络科学的角度,提出了一种基于小世界和无标度网络拓扑结构的约束 Restricted Boltzmann Machines 模型,它能够大大减少权重数量,提高生成能力,而不增加计算成本。
Apr, 2016
本文提出了一种新的算法改善了 Restricted Boltzmann Machines (RBM) 和 Deep Belief Networks (DBN) 在集合二进制向量的分布表示方面的问题,证明了一个由 Le Roux 和 Bengio 提出的猜想。
May, 2010
该研究表明,深窄玻尔兹曼机是可视单元活动上概率分布的普适逼近器,如果它们有足够多的隐藏层,每个层次含有与可见层相同数量的单元。该研究提供了普适逼近器所需的深度和宽度的上下界,并且解决了有关无向网络的各种直觉问题,并且特别表明,与狭窄的 S 型信念网络和受限玻尔兹曼机相比,深窄玻尔兹曼机至少与当前可用于这些模型的限制相一致。
Nov, 2014
本文分析了受限玻尔兹曼机在统计物理上的训练过程,以小的条纹图案为例,计算了在训练的过程中信息熵、自由能和内能的变化以及可见层和隐藏层之间的互相关性增长,并使用蒙特卡洛模拟计算了能量函数的参数变化对受限玻尔兹曼机所做工的分布,并探讨了 Jarzynski 等式和训练前后自由能差的路径平均指数函数之间的关系。
Apr, 2020
本文从密度模型的角度出发,对高斯 - 二进制受限玻尔兹曼机(GRBM)进行理论分析,展示了 GRBM 的一些性能和限制,讨论了训练算法的几个关键点,并与其他改进的模型进行了比较。
Jan, 2014