Jun, 2023

使用随机梯度下降从高斯过程后验分布中进行采样

PDF
TL;DR本论文介绍了通过使用随机梯度算法来近似解决高斯过程中线性系统求解的限制，并利用影响收敛的隐含偏差的谱特点来解释结果，最终在大规模数据集上取得了最先进的预测性能和不确定性估计。
gaussian processesstochastic gradient algorithmslinear systemsposterior samplinguncertainty estimation
发现论文，激发创造
  • 随机梯度算法的变分分析

    本文介绍如何将随机梯度下降算法与调整参数应用于概率建模中的近似后验推断，通过最小化数据生成分布与目标后验分布之间的 KL 散度作为理论框架，让 SGD 有效地作为贝叶斯推断的一种方法，发现其可以成为概率模型优化超参数的一种新途径。

    Feb, 2016

  • 高斯过程后验函数的高效采样

    本文提出了一种将高斯过程进行分解，以便通过将先验与数据分离来进行可扩展抽样的方法，同时结合稀疏逼近在训练和测试时间都能够达到可扩展性的一般性方法。实验证明分解后的样本轨迹可以以较低的代价准确地表示高斯过程后验分布。

    Feb, 2020

  • 高斯过程的随机梯度下降方法

    高斯过程回归的深度学习方法采用了特定的随机对偶梯度下降算法，通过优化和核技术的结合，取得了与图神经网络相媲美的性能。

    Oct, 2023

  • 参数高斯过程回归器

    提出了两种可扩展的高斯过程回归方法，通过应用变分推断和直接处理后验预测分布来改善模型预测不确定性。

    Oct, 2019

  • 随机梯度下降中模型参数的统计推断

    研究了在 SGD 下如何进行统计推断以及使用其构建渐近无偏估计和置信区间，最终提出了一种高维线性回归算法，可以计算稀疏回归系数和置信区间。

    Oct, 2016

  • 利用随机梯度下降进行近似贝叶斯推断

    本文从随机过程的角度出发，论证了常数学习率随机梯度下降算法（constant SGD）可用作一种近似贝叶斯推断算法，其可优化模型中的超级参数，同时分析了 Langevin Dynamics 和 Stochastic Gradient Fisher Scoring 的近似误差以及 Polyak 平均算法的最优性。在此基础上，提出了一种可扩展的近似马尔科夫链蒙特卡罗（MCMC）算法，即平均随机梯度采样算法（Averaged Stochastic Gradient Sampler）。

    Apr, 2017

  • 基于随机梯度 Fisher 评分的贝叶斯后验抽样

    本文介绍了一种基于 Langevin 方程和带随机梯度的算法来近似采样贝叶斯后验分布的方法，并通过引入贝叶斯中心极限定理扩展了该算法，使其在高混合比率时能够从后验的正态近似中采样，在慢混合比率时则模拟 SGLD 的行为，作为优化初始阶段的高效优化器。

    Jun, 2012

  • 深高斯过程的双随机变分推断

    本文介绍了一种基于双随机变分推断的方法，用于深度高斯过程模型（Deep Gaussian processes）的推断。该方法能够有效地处理数百个到十亿个数据点的分类和回归任务，验证了其推断模型的实用性。

    May, 2017

  • 高维推断中的非凸损失在线随机梯度下降

    研究了 SGD 算法在高维参数空间下最简单在线版本的性能，通过对样本数量的阈值来确定参数估计的一致性，其阈值是多项式维度的，取决于信息指数。

    Mar, 2020

  • 基于随机梯度的估计器的渐近性和有限样本性质

    本文介绍了一种隐式随机梯度下降（ISGD）算法，其通过收缩标准随机梯度下降（SGD）算法的更新步长以提高稳定性，同时不增加计算负担。通过 ISGD 算法，可以估算广义线性模型、Cox 比例风险和 M 估计量等模型的参数，并提供了它们的理论分析，包括渐近性质和有限样本误差界。实验结果表明，ISGD 算法可在大规模数据集上提高运行效率。

    Aug, 2014