SLANG：用自然梯度进行贝叶斯深度学习的快速结构化协方差近似

Nov, 2018

SLANG：用自然梯度进行贝叶斯深度学习的快速结构化协方差近似

SLANG: Fast Structured Covariance Approximations for Bayesian Deep Learning with Natural Gradient

Aaron Mishkin, Frederik Kunstner, Didrik Nielsen, Mark Schmidt, Mohammad Emtiyaz Khan

TL;DR本文提出了一种基于背向传播梯度的新型随机低秩近似自然梯度方法（SLANG），用于在大型深度模型中进行变分推断，结果表明该方法比平均场方法快且更准确地估计了不确定性，并且表现与最先进的方法相当。

Abstract

uncertainty estimation in large deep-learning models is a computationally challenging task, where it is difficult to form even a Gaussian approximation to the posterior distribution. In such situations, existing methods usually resort to a diagonal approximation of the covariance matri

uncertainty estimation deep learning models low-rank approximation variational inference network log-likelihood

发现论文，激发创造

神经网络的自然 Langevin 动力学

在机器学习中，使用贝叶斯后验概率分布作为模型参数可以避免过度拟合，Stochastic gradient Langevin dynamics (SGLD) 是一种近似贝叶斯后验概率分布的算法，使用易于计算的 Fisher 矩阵近似，使用 Fisher 矩阵预处理可以用于大型神经网络中，并将 SGLD 与 dropout 类似的正则化技术相结合以减少过拟合。

Dec, 2017

通过逆协方差估计进行高维度线性因果网络学习

本论文提出了一种新的基于统计估计的带有两个部分的框架，通过使用 moralized 图在 DAGs 中选择最佳得分的图。

Nov, 2013

凹惩罚估计稀疏高斯贝叶斯网络

本文提出了一种基于得分的结构学习快速算法的罚似然估计框架，该快速算法不受限制地处理高维数据集，并使用凹规则化以解决估计问题的固有不可识别性。其中，高斯贝叶斯网络是重点研究领域之一。

Jan, 2014

噪声自然梯度作为变分推理

本文研究了变分贝叶斯神经网络、自然梯度上升和卷积神经网络等相关技术，提出了基于噪声版本的自然梯度、Adam 和 K-FAC 算法来训练全协方差、完全因式分解或矩阵变量高斯变分后验，并应用于回归测试中，发现该算法可以更好地预测和匹配存在方法的预测方差，进而用于主动学习和增强学习中实现更高效的探索。

Dec, 2017

实际中的可扩展自然梯度 Langevin 动力学

本文比较了不同的预处理方法以规范噪声向量，从混合时间、正则化效果、协变量漂移检测和对抗样本抗干扰性等方面对其进行了评估。

Jun, 2018

复杂模型变分推断的快速简单的自然梯度下降

本文研究使用自然梯度方法解决贝叶斯深度学习中的复杂模型的计算挑战，并表明这种方法在提高收敛性方面有优势。

Jul, 2018

神经变分梯度下降

本文提出了一种基于神经网络的参数化证见函数的改进 Stein 变分梯度下降方法，旨在解决传统 Stein 变分梯度下降中选择核函数的难题，经实验证明该方法在合成推理问题、贝叶斯线性回归和贝叶斯神经网络推理问题中有效可行。

Jul, 2021

大规模语言模型的贝叶斯低秩自适应的高斯随机权重平均化

基于小数据集的精调大型语言模型常常存在过度自信和校准不佳的问题，为了解决这些挑战，我们提出了低秩自适应和高斯随机权重平均的简单结合，促进了大型语言模型中的近似贝叶斯推断。通过在多个自然语言处理基准测试中进行广泛测试，我们证明了我们简单而高效的方法能够提高模型的泛化能力和校准性。我们进一步展示了我们的方法在分布变化方面表现出更强的鲁棒性，这体现在其在未知分布任务上的表现。

May, 2024

贝叶斯深度知识

本文探讨了应用于深度神经网络中的贝叶斯参数估计问题，提出了一种压缩 Monte Carlo 近似方法的新算法，与贝叶斯神经网络中的其他两种方法作了对比，证明了该算法不仅表现更优，而且更简单易于实现且测试所需运算资源更少。

Jun, 2015

深度学习中贝叶斯不确定性的简单基准线

SWA-Gaussian 是一种用于深度学习中的不确定性表示和校准的简单、可伸缩和通用方法，它利用随机加权平均（Stochastic Weight Averaging，SWA）和高斯分布来进行贝叶斯模型平均，具有较好的拟合效果和性能。

Feb, 2019