Jun, 2022

马尔可夫链分数上升：具有马尔可夫梯度的变分推断的统一框架

HTML
PDF
TL;DR提供了多个基于马尔可夫链的有偏梯度估计算法的非渐进收敛分析，并将其视为马尔可夫链梯度下降框架的特例，通过新的理解开发了一种并行的Markov chain score ascent (pMCSA)算法，实现了对梯度变化的更紧密控制，从而显著提高了算法的实际性能。
发现论文，激发创造
  • 随机变分推断的平滑梯度

    本文介绍了一种改进的随机变分推断方法，其中使用移动平均方法构建代替自然梯度的向量，得到了更高的计算计算效率和更小的误差。测试表明该方法在大规模数据上表现良好。

    Jun, 2014

  • 早停法是非参数变分推断

    本研究使用非参数变分近似后验分布的样本抽取来解释随机梯度下降，为基于最小下限的对数边际似然的超参数优化提供一种输出，包括神经网络等领域。

    Apr, 2015

  • 随机梯度算法的变分分析

    本文介绍如何将随机梯度下降算法与调整参数应用于概率建模中的近似后验推断，通过最小化数据生成分布与目标后验分布之间的KL散度作为理论框架，让SGD有效地作为贝叶斯推断的一种方法，发现其可以成为概率模型优化超参数的一种新途径。

    Feb, 2016

  • 利用随机梯度下降进行近似贝叶斯推断

    本文从随机过程的角度出发，论证了常数学习率随机梯度下降算法（constant SGD）可用作一种近似贝叶斯推断算法，其可优化模型中的超级参数，同时分析了Langevin Dynamics和Stochastic Gradient Fisher Scoring的近似误差以及Polyak平均算法的最优性。在此基础上，提出了一种可扩展的近似马尔科夫链蒙特卡罗（MCMC）算法，即平均随机梯度采样算法（Averaged Stochastic Gradient Sampler）。

    Apr, 2017

  • 结合变分推断和马尔科夫链蒙特卡洛法的对比散度

    通过Markov chain Monte Carlo（MCMC）与varational inference（VI）相结合，并引入variational contrastive divergence（VCD）作为新的divergence，可以更好的预测潜在变量模型。

    May, 2019

  • 马尔可夫分数攀登：KL(p||q)变分推理

    本文介绍了一种可靠的使用随机梯度下降最小化包含KL散度的简单算法Markovian score climbing (MSC)，它以不偏的方式收敛于包含KL。对贝叶斯 probit 回归进行分类以及针对金融数据的随机波动率模型演示了MSC的效用。

    Mar, 2020

  • 结构性随机梯度MCMC

    用一种新的非参数泛化逼近方法代替VI，包含了一种Langevin-type算法，其中一部分潜变量是从Markov链的早期样本中平均的，以控制地打破统计相关性，从而使链更快混合。通过在ResNet-20上对CIFAR-10，SVHN和FMNIST进行测试，我们发现与SG-MCMC和VI相比，在收敛速度和/或最终准确性方面都有所提高。

    Jul, 2021

  • 随机梯度下降-上升: 统一理论和新高效方法

    本文提出了SGDA的统一收敛性分析框架，覆盖了各种随机梯度下降上升方法，并分别提出了多种新变体方法，通过大量数值实验证明了这些方法的重要性质。

    Feb, 2022

  • 坐标上升变分推断的收敛性

    本文基于函数分析和优化工具，对变分推断(VI)方法中的坐标上升变分推断(CAVI)算法进行收敛性分析，提出基于广义相关性的算法收缩速率测度，并在多个实例中应用了该理论，得出了算法收缩速率的明确上界。

    Jun, 2023

  • 基于马尔可夫采样的随机梯度下降在线协方差估计

    我们研究了在马尔科夫采样下的在线重叠批次均值协方差估计器在随机梯度下降（SGD）中的应用。我们表明协方差估计器的收敛速度在依赖状态和独立于状态的马尔科夫采样下分别为O(sqrt(d)n^(-1/8)(log n)^(1/4))和O(sqrt(d)n^(-1/8))，其中d表示维度，n表示观测次数或SGD迭代次数。此外，我们对随机梯度下降动态的误差的二范数的前四个矩的收敛速度进行了分析。为了验证我们的理论发现，我们提供了数值实例来推导在马尔科夫采样下训练线性和逻辑回归模型时的置信区间。

    Aug, 2023