Jun, 2024

基本操作区域、超参数微调和玻璃性：朝着可解释的训练受限玻尔兹曼机复制理论

PDF
TL;DR我们开发了一个统计力学框架来描述具有二进制可见层和高斯隐藏层的限制玻尔兹曼机，通过利用复制技巧并假设基础序参量具有自平均性（即复制对称性）来训练由噪声实现的单一基准模式的未标记数据集，我们提供了分析和数值证据，表明在超参数空间中存在一个子区域，其中发生了复制对称性的破缺。
restricted boltzmann machinesstatistical mechanicsgenerative capabilitiesreplica symmetryhyperparameters
发现论文，激发创造
  • 利用高斯 - 二元受限玻尔兹曼机模拟自然图像统计

    本文从密度模型的角度出发，对高斯 - 二进制受限玻尔兹曼机（GRBM）进行理论分析，展示了 GRBM 的一些性能和限制，讨论了训练算法的几个关键点，并与其他改进的模型进行了比较。

    Jan, 2014

  • 限制玻尔兹曼机的拓扑洞察

    本文从网络科学的角度，提出了一种基于小世界和无标度网络拓扑结构的约束 Restricted Boltzmann Machines 模型，它能够大大减少权重数量，提高生成能力，而不增加计算成本。

    Apr, 2016

  • 受限玻尔兹曼机的熵、自由能和功

    本文分析了受限玻尔兹曼机在统计物理上的训练过程，以小的条纹图案为例，计算了在训练的过程中信息熵、自由能和内能的变化以及可见层和隐藏层之间的互相关性增长，并使用蒙特卡洛模拟计算了能量函数的参数变化对受限玻尔兹曼机所做工的分布，并探讨了 Jarzynski 等式和训练前后自由能差的路径平均指数函数之间的关系。

    Apr, 2020

  • 受限玻尔兹曼机的几何形态

    本文从代数统计学和热带几何的角度研究了基于完全二分图的 restricted Boltzmann machine 模型及其可识别性和维数，得出了该模型的计算和解码方法和与线性门限函数的联系。

    Aug, 2009

  • 用受限玻尔兹曼机加速蒙特卡罗模拟

    本文提出了将人工神经网络用于蒙特卡罗方法的改进，使其在统计物理问题中的混合时间得以加速，具体应用于 Falicov-Kimball 模型，并在其相变点附近展示了接受比率和自相关时间的提高。

    Oct, 2016

  • 快速且准确地训练和抽样受限波尔兹曼机

    通过凸优化过程将数据集的主要方向整合到低秩 RBM 中，从而通过静态蒙特卡罗过程实现平衡分布的高效采样，成功训练 RBM 来捕捉之前方法失败的高度结构化数据集中的全部多样性，并提出了一种新的采样方法 - 平行轨迹调整，使得能够比之前的 MCMC 方法更快地采样训练模型的平衡分布并更好地估计对数似然。

    May, 2024

  • 离散受限玻尔兹曼机

    介绍了离散受限玻尔兹曼机，其是一种具有双分区交互的可视和隐藏离散变量的概率图模型，阐述了这些模型中的推断函数和分布式表示，以及它们在所述可视状态的任何概率分布上逼近任何给定精度的隐藏变量数量的界限，并使用代数方法和编码理论计算其维度。

    Jan, 2013

  • 带有正则化轴突的玻尔兹曼机的通用表征

    通过对玻尔兹曼机的连接进行正则化，我们证明了正则化玻尔兹曼机能够表示任意分布，并且控制能量局部极小值的数量，从而实现了简化的采样和训练，同时能够存储指数级的任意相关可见模式，并与稠密关联记忆网络相关联。

    Oct, 2023

  • 条件受限玻尔兹曼机的几何与表现力

    本研究讨论了有关有向随机神经网络中条件概率分布的表示能力，证明了其可以用于表示条件马尔可夫随机场和带有限制支持的条件分布，研究了通用逼近器的最小尺寸、最大模型逼近误差以及可表示的条件分布集合的维数等等。我们贡献了新的工具，改进了现有有关有限支持限制玻尔兹曼机概率模型的研究结果。

    Feb, 2014

  • 受限玻尔兹曼机的高级平均场理论

    通过 Bethe 近似复杂统计场理论，我们基于平均场理论为 RBM 提供了一种高效的基于消息传递的方法，可以评估分区函数和梯度而无需统计采样，从而消除了对计算上昂贵的采样方法的需求。

    Feb, 2015