Mar, 2024

均场微正则梯度下降

PDF
TL;DR微正则梯度下降是一种用于高维分布高效采样的能量模型采样过程，通过使用梯度下降从高熵分布（如高斯白噪声）将样本传输到低能量区域。我们将这个模型放置在归一化流框架中，展示它常常通过在下降过程中损失了不必要的熵而过拟合。为了解决这个问题，我们提出了一种多场微正则梯度下降法，同时采样多个弱耦合数据点，以更好地控制熵损失，并在可能度拟合方面几乎不付出代价。我们在金融时间序列的背景下研究了这些模型，展示了在合成和真实数据上的改进。
发现论文，激发创造
  • 多尺度稀疏微正则模型

    本文研究了具有长程相关性的非高斯稳态过程的近似，其中使用微正则模型条件化模型。通过梯度下降算法，从而产生满足能量限制的微正则梯度下降过程，该过程与多尺度能量向量和 $f l^1$ norm 相结合，实现高斯、伊辛以及点过程的逼近以及图像和音频纹理合成。

    Jan, 2018

  • 基于梯度的基于马尔科夫链蒙特卡罗的文本生成原则

    通过改进基于梯度的采样算法，实现对目标基于能量的文本分布的正确采样，以生成流畅的文本并更好地满足控制目标。

    Dec, 2023

  • 离散随机场的基于原则的并行均场推断

    本文提出了一种基于近端梯度的方法，用于优化变分目标，该方法天然可并行化且易于实施，证明了其收敛性，并且实践证明其收敛速度更快，并且通常能找到更好的最优解，此外我们的方法对参数选择的敏感性更低。

    Nov, 2015

  • 具有能量分布概率评估的深度有向生成模型

    本论文提出了一种利用生成对抗网络（GAN）和基于深度神经网络的生成模型来代替 MCMC 模型的方法，通过训练这种模型生成的采样分布近似匹配待训练的能量函数。

    Jun, 2016

  • 神经网络的平均场 Langevin 动力学和能量景观

    研究使用梯度算法时非凸问题的抽象理论，利用无穷维度状态空间和概率密度函数最小化能量函数，并研究该梯度流的收敛性。

    May, 2019

  • 高斯混合分类中随机梯度下降的动力学平均场理论

    通过使用动力学均场理论的方法，我们分析了随机梯度下降在单层神经网络分类高维高斯混合数据上的学习动态。我们通过定义一种随机过程将随机梯度下降扩展到连续时间极限，称之为随机梯度流，并探讨了算法控制参数对其在损失函数空间中的导航的影响。

    Jun, 2020

  • 基于基数约束的多模态平均场方法

    该研究介绍了一种用加权混合分布取代 Mean Field 完全分解的方法，通过这种方式，可以更好地逼近真后验概率，进而提高一些计算机视觉算法的性能。

    Nov, 2016

  • 神经梯度下降上升的均场分析：应用于功能条件矩方程

    通过研究定义在无限维函数类上的极小极大优化问题，我们限定函数在过度参数化的两层神经网络类上，并研究（i）梯度下降 - 上升算法的收敛性和（ii）神经网络的表示学习。

    Apr, 2024

  • 基于梯度的自适应马尔科夫链蒙特卡罗

    本研究提出使用基于梯度的学习方法来自适应马尔可夫链蒙特卡罗（MCMC）提议分布，应用随机梯度优化能通过定义的最大熵正则化目标函数来优化提议分布的参数，并证明相比传统自适应 MCMC 方法，该方法带有更高的性能；并应用于多元随机步长 Metropolis 和 Metropolis-adjusted Langevin 提议与完整协方差矩阵，并证实该方法在 MCMC 算法中表现优异，包括哈密顿蒙特卡罗方案。

    Nov, 2019

  • 离散分布的可伸缩抽样：梯度抽取错误

    使用似然函数关于离散变量的梯度来提议更新，在一些复杂的模型上，我们的采样方法包括 Ising 模型、Potts 模型、受限玻尔兹曼机和分步隐马尔可夫模型等方面表现出优异的性能，并且有效提升以往在高维离散数据处理方面经常使用的变分自编码器和现有基于能量模型的方法的性能。同时我们证明，该方法是在局部更新的抽样器中几乎是最优的。

    Feb, 2021