本研究讨论了有关有向随机神经网络中条件概率分布的表示能力，证明了其可以用于表示条件马尔可夫随机场和带有限制支持的条件分布，研究了通用逼近器的最小尺寸、最大模型逼近误差以及可表示的条件分布集合的维数等等。我们贡献了新的工具，改进了现有有关有限支持限制玻尔兹曼机概率模型的研究结果。

Feb, 2014

本文提出了基于 l1/l2 正则化的稀疏组受限玻尔兹曼机，该方法不仅能够在组和隐藏单元级别上实现稀疏性，同时在图像、手写数字和图像分类等任务中取得更好的成绩，并在 MNIST 数据集上实现了 0.84% 的误差率，是目前公布的最佳结果。

Aug, 2010

本文分析了受限玻尔兹曼机在统计物理上的训练过程，以小的条纹图案为例，计算了在训练的过程中信息熵、自由能和内能的变化以及可见层和隐藏层之间的互相关性增长，并使用蒙特卡洛模拟计算了能量函数的参数变化对受限玻尔兹曼机所做工的分布，并探讨了 Jarzynski 等式和训练前后自由能差的路径平均指数函数之间的关系。

Apr, 2020

该研究表明，深窄玻尔兹曼机是可视单元活动上概率分布的普适逼近器，如果它们有足够多的隐藏层，每个层次含有与可见层相同数量的单元。该研究提供了普适逼近器所需的深度和宽度的上下界，并且解决了有关无向网络的各种直觉问题，并且特别表明，与狭窄的 S 型信念网络和受限玻尔兹曼机相比，深窄玻尔兹曼机至少与当前可用于这些模型的限制相一致。

Nov, 2014

介绍了离散受限玻尔兹曼机，其是一种具有双分区交互的可视和隐藏离散变量的概率图模型，阐述了这些模型中的推断函数和分布式表示，以及它们在所述可视状态的任何概率分布上逼近任何给定精度的隐藏变量数量的界限，并使用代数方法和编码理论计算其维度。

Jan, 2013

本文提出了将人工神经网络用于蒙特卡罗方法的改进，使其在统计物理问题中的混合时间得以加速，具体应用于 Falicov-Kimball 模型，并在其相变点附近展示了接受比率和自相关时间的提高。

Oct, 2016

通过凸优化过程将数据集的主要方向整合到低秩 RBM 中，从而通过静态蒙特卡罗过程实现平衡分布的高效采样，成功训练 RBM 来捕捉之前方法失败的高度结构化数据集中的全部多样性，并提出了一种新的采样方法 - 平行轨迹调整，使得能够比之前的 MCMC 方法更快地采样训练模型的平衡分布并更好地估计对数似然。

May, 2024

本研究通过研究 Restricted Boltzmann Machines 所学习的概率分布，提出了几个具有代表性的概率分布，旨在展示该模型的表达能力。 结果表明，最大的 Kullback-Leibler 散度上界受限于 $n - log (m+1) - (m+1)/2^{log (m+1)}$，可以用于指定保证模型丰富性和达到特定误差容限的隐藏单元数。

Jun, 2014

本文介绍了一种基于贝叶斯方法的神经网络先验分布，该分布使用潜在变量来表示网络中的单元，并以这些变量的值为条件抽取单元之间的权重。这种先验分布具有强大的相关性，可以作为一个基于函数的先验分布，有助于实现 Bayesian 正则化以实现简单结构的网络模型。

Oct, 2018

我们开发了一个统计力学框架来描述具有二进制可见层和高斯隐藏层的限制玻尔兹曼机，通过利用复制技巧并假设基础序参量具有自平均性（即复制对称性）来训练由噪声实现的单一基准模式的未标记数据集，我们提供了分析和数值证据，表明在超参数空间中存在一个子区域，其中发生了复制对称性的破缺。

Jun, 2024