受限玻尔兹曼机的几何形态
介绍了离散受限玻尔兹曼机,其是一种具有双分区交互的可视和隐藏离散变量的概率图模型,阐述了这些模型中的推断函数和分布式表示,以及它们在所述可视状态的任何概率分布上逼近任何给定精度的隐藏变量数量的界限,并使用代数方法和编码理论计算其维度。
Jan, 2013
本研究讨论了有关有向随机神经网络中条件概率分布的表示能力,证明了其可以用于表示条件马尔可夫随机场和带有限制支持的条件分布,研究了通用逼近器的最小尺寸、最大模型逼近误差以及可表示的条件分布集合的维数等等。我们贡献了新的工具,改进了现有有关有限支持限制玻尔兹曼机概率模型的研究结果。
Feb, 2014
本文分析了受限玻尔兹曼机在统计物理上的训练过程,以小的条纹图案为例,计算了在训练的过程中信息熵、自由能和内能的变化以及可见层和隐藏层之间的互相关性增长,并使用蒙特卡洛模拟计算了能量函数的参数变化对受限玻尔兹曼机所做工的分布,并探讨了 Jarzynski 等式和训练前后自由能差的路径平均指数函数之间的关系。
Apr, 2020
本文从密度模型的角度出发,对高斯 - 二进制受限玻尔兹曼机(GRBM)进行理论分析,展示了 GRBM 的一些性能和限制,讨论了训练算法的几个关键点,并与其他改进的模型进行了比较。
Jan, 2014
本文从网络科学的角度,提出了一种基于小世界和无标度网络拓扑结构的约束 Restricted Boltzmann Machines 模型,它能够大大减少权重数量,提高生成能力,而不增加计算成本。
Apr, 2016
本文介绍的结构受限玻尔兹曼机(Structural Restricted Boltzmann Machine)模型针对图像建模的应用,通过限制隐层单元与可见层子集的连接来显著降低可训练参数数量,而不会影响性能。通过对多个图像域进行广泛实验,评估使用 MNIST 数据集的图像去噪结果和五个不同图像域的分类性能,结果表明相比于无限制连接的 RBM,该模型具有更快、更稳定的训练,并且可以获得更好的结果。
Jun, 2023
本文介绍了一种用于混合变量的 Restricted Boltzmann Machines 模型,可以同时建模多种类型和多样性的变量,并使用潜在二进制变量对变量之间的依赖性进行建模,支持在许多常见任务中使用,包括预处理、分类、回归和数据补全,同时在一个大规模数据集上进行了实验验证。
Aug, 2014
本文提出了将人工神经网络用于蒙特卡罗方法的改进,使其在统计物理问题中的混合时间得以加速,具体应用于 Falicov-Kimball 模型,并在其相变点附近展示了接受比率和自相关时间的提高。
Oct, 2016
本文描述了如何使用更高效的马尔可夫链蒙特卡罗算子来训练受限玻尔兹曼机 (RBM),以有效地处理自然语言处理中的高维度多项式观察值,通过在数百万个单词 n-gram 上训练 RBM,并使用所学特征来提高分块和情感分类任务的性能,从而实现了后一项的最新成果。
Feb, 2012
本文提出了一种从高维时间序列数据中提取少数基本隐藏变量的方法,并学习这些隐藏变量之间的状态转移规则的方法,实验结果表明该方法可以从观测到的状态转移中学习这些物理系统的动态,并预测未观测到的未来状态。
Dec, 2022