Oct, 2023

高效不确定性量化：简易重采样随机梯度下降

PDF
TL;DR通过采用分别基于重采样的多个随机梯度下降和在线方法，我们实现了对于随机梯度下降解的置信区间的构建，通过最近被称为廉价引导思想和 SGD 的 Berry-Esseen 型界限，我们显著减少了计算量，并绕过了现有分批方法中复杂的混合条件。
stochastic gradient descentinferenceconfidence intervalsresampling-based methodsbootstrap schemes
发现论文，激发创造
  • 随机梯度下降中模型参数的统计推断

    研究了在 SGD 下如何进行统计推断以及使用其构建渐近无偏估计和置信区间，最终提出了一种高维线性回归算法，可以计算稀疏回归系数和置信区间。

    Oct, 2016

  • 通过区块自助法对差分隐私随机梯度下降进行不确定性量化

    提出了一种基于局部差分隐私的新型块自助法用于随机梯度下降，该方法具有可计算性和不需要调整隐私预算的特点，可以广泛应用于估计问题，并通过模拟研究证明了其有效性和有限样本性质，并成为非隐私 SGD 的简单替代数值工具。

    May, 2024

  • 利用随机梯度下降进行近似贝叶斯推断

    本文从随机过程的角度出发，论证了常数学习率随机梯度下降算法（constant SGD）可用作一种近似贝叶斯推断算法，其可优化模型中的超级参数，同时分析了 Langevin Dynamics 和 Stochastic Gradient Fisher Scoring 的近似误差以及 Polyak 平均算法的最优性。在此基础上，提出了一种可扩展的近似马尔科夫链蒙特卡罗（MCMC）算法，即平均随机梯度采样算法（Averaged Stochastic Gradient Sampler）。

    Apr, 2017

  • 使用 SGD 进行统计推断

    使用随机梯度下降方法的平均值作为统计推断，并经过适当的缩放，可用于频率派统计推断。 这种基于 SGD 的推断方法是一种一阶方法，并非常适用于大规模问题。

    May, 2017

  • 解密双倍随机梯度下降法

    对于以不可解期望的求和形式作为优化目标的问题，除了有界方差等强假设条件外，很少了解双重随机梯度下降（doubly SGD）的收敛性质。本研究在一般条件下，建立了具有独立小批量和随机重排的双重随机梯度下降的收敛性，并允许对依赖的分量梯度估计进行详细分析，推荐在每次迭代的计算预算中如何进行合理分配，同时证明随机重排（RR）可以改善子采样噪声的复杂度依赖关系。

    Jun, 2024

  • 随机梯度算法的变分分析

    本文介绍如何将随机梯度下降算法与调整参数应用于概率建模中的近似后验推断，通过最小化数据生成分布与目标后验分布之间的 KL 散度作为理论框架，让 SGD 有效地作为贝叶斯推断的一种方法，发现其可以成为概率模型优化超参数的一种新途径。

    Feb, 2016

  • 使用随机梯度下降从高斯过程后验分布中进行采样

    本论文介绍了通过使用随机梯度算法来近似解决高斯过程中线性系统求解的限制，并利用影响收敛的隐含偏差的谱特点来解释结果，最终在大规模数据集上取得了最先进的预测性能和不确定性估计。

    Jun, 2023

  • 带有偏置但一致的梯度估计的随机梯度下降

    本研究针对带图等情景，探讨 Stochastic gradient descent (SGD) 中 consitent estimator 的效用及其相对于 unbiased estimator 的同等收敛性。实验证明，consistent estimator 在 strongly convex, convex, and nonconvex 目标下均表现良好，这一研究有助于进一步提高 SGD 的效率并设计大规模图的高效训练算法。

    Jul, 2018

  • 高维推断中的非凸损失在线随机梯度下降

    研究了 SGD 算法在高维参数空间下最简单在线版本的性能，通过对样本数量的阈值来确定参数估计的一致性，其阈值是多项式维度的，取决于信息指数。

    Mar, 2020

  • 使用并行随机优化几乎免费实现高置信度推断

    通过利用少量的独立多轮运行获得分布信息并构建基于 t 分布的置信区间，在保证高置信水平的前提下，提出了一种快速计算收敛到名义水平置信区间的新型推断方法，几乎不需要额外的计算和内存开销。

    Jan, 2024