利用随机梯度下降进行近似贝叶斯推断

Apr, 2017

利用随机梯度下降进行近似贝叶斯推断

Stochastic Gradient Descent as Approximate Bayesian Inference

Stephan Mandt, Matthew D. Hoffman, David M. Blei

TL;DR本文从随机过程的角度出发，论证了常数学习率随机梯度下降算法（constant SGD）可用作一种近似贝叶斯推断算法，其可优化模型中的超级参数，同时分析了 Langevin Dynamics 和 Stochastic Gradient Fisher Scoring 的近似误差以及 Polyak 平均算法的最优性。在此基础上，提出了一种可扩展的近似马尔科夫链蒙特卡罗（MCMC）算法，即平均随机梯度采样算法（Averaged Stochastic Gradient Sampler）。

Abstract

stochastic gradient descent with a constant learning rate (constant SGD) simulates a Markov chain with a stationary distribution. With this perspective, we derive several new results. (1) We show that constant SGD can be used as an approximate Bayesian posterior inference algorithm. Sp

stochastic gradient descent bayesian inference variational em algorithm mcmc algorithms polyak averaging

发现论文，激发创造

随机梯度算法的变分分析

本文介绍如何将随机梯度下降算法与调整参数应用于概率建模中的近似后验推断，通过最小化数据生成分布与目标后验分布之间的 KL 散度作为理论框架，让 SGD 有效地作为贝叶斯推断的一种方法，发现其可以成为概率模型优化超参数的一种新途径。

Feb, 2016

随机梯度下降中模型参数的统计推断

研究了在 SGD 下如何进行统计推断以及使用其构建渐近无偏估计和置信区间，最终提出了一种高维线性回归算法，可以计算稀疏回归系数和置信区间。

Oct, 2016

随机梯度 Langevin 动力学的优缺点

本文研究了基于大规模数据集的贝叶斯学习的关键 MCMC 算法，发现当前常用的 SGLD 算法存在问题，但通过引入控制变量后的 SGLD Fixed Point 算法可以有效改善该问题，且与 Langevin Monte Carlo 算法计算成本相比更低，可为该类应用提供参考。

Nov, 2018

随机梯度下降在变分推断中的应用：深度网络收敛于极限环

SGD 使用隐式正则化训练深度神经网络的确切方式一直以来都很难界定，但我们证明了 SGD 最小化了一个与分布式权重后验分布相关的平均势能加一个熵正则化项，但这个势能通常与原始损失函数不同。此外，我们表明 SGD 在经典意义下甚至不会收敛，因此这种 ' 失衡 ' 的行为是由于对于深度网络，SGD 的梯度噪声是高度非各向同性的。我们在附录中给出了这些声明的广泛经验验证。

Oct, 2017

常步长随机梯度下降与马尔可夫链的桥梁

本文应用马尔科夫链理论，通过随机梯度下降（SGD）算法来计算目标函数，并提供了一种新的 Richardson-Romberg 外推方法来优化 SGD 算法，通过渐进展开分析，总结出其与初始条件、噪声和步长的相关性。

Jul, 2017

通过随机梯度巴克动力学实现鲁棒的近似采样

此研究介绍了随机梯度贝克动力学（SGBD）算法，通过扩展最近开发的贝克马尔科夫链蒙特卡洛（MCMC）方案为随机梯度框架，实现了在大数据集下对贝叶斯采样的鲁棒性。研究表明，相比流行的随机梯度 Langevin 动力学算法，SGBD 在超参数调整和目标梯度的不规则行为方面表现更为稳健。

May, 2024

基于随机梯度 Fisher 评分的贝叶斯后验抽样

本文介绍了一种基于 Langevin 方程和带随机梯度的算法来近似采样贝叶斯后验分布的方法，并通过引入贝叶斯中心极限定理扩展了该算法，使其在高混合比率时能够从后验的正态近似中采样，在慢混合比率时则模拟 SGLD 的行为，作为优化初始阶段的高效优化器。

Jun, 2012

使用 SGD 进行统计推断

使用随机梯度下降方法的平均值作为统计推断，并经过适当的缩放，可用于频率派统计推断。这种基于 SGD 的推断方法是一种一阶方法，并非常适用于大规模问题。

May, 2017

随机学习的 PAC-Bayesian 分析及其在随机梯度下降中的应用

通过 PAC-Bayes 和算法稳定性的结合研究了随机梯度下降算法的泛化误差，提出了一种基于后验优化的自适应采样算法，并在基准数据集上进行评估。结果表明，相较于均匀采样，自适应采样既可以更快地降低经验风险，也可以提高样本外准确性。

Sep, 2017

随机梯度下降式放松等同于离散优化和推断问题中的格劳伯动力学

Stochastic Gradient Descent (SGD) 和 Glauber dynamics 在离散优化和推理问题中的动力学非常相似，其等价性使得我们能够使用 Monte Carlo 算法的结果来优化 SGD 类似算法中的 mini-batch 大小，从而在难解推理问题中提高信号恢复的效率。

Sep, 2023