本文探讨变分推断问题中使用重新参数化技巧的效果,通过理论分析和实验展示了其优越性,重点在于阐述它相比于其他方法更准确地估计了 variational objective 的梯度。
Sep, 2018
本文提出了一种基于贝叶斯推断的神经网络未来预测方法,该方法通过对ReLU网络权重进行近似高斯分布的理论分析和实验验证,同时发现了使用简单的贝叶斯近似方法可以解决ReLU网络的过度自信问题。
Feb, 2020
本文提出一种方法来训练拉普拉斯逼近神经网络中的不确定性,介绍了用于拉普拉斯逼近网络的不确定性单元,并通过不确定性感知目标来训练这些单元,以提高在不同不确定性量化任务中的性能表现。
Oct, 2020
本文提出直接近似贝叶斯模型函数空间或预测后验分布的方法,并指出了使用Kullback-Leibler divergence方法的优劣,提出了基于Bayesian linear regression的benchmark方法来评估预测质量和后验近似质量。
Nov, 2020
本研究提出了一种名为'prior重定向'的方法,通过将贝叶斯神经网络后验变换为一种与BNN先验KL散度消失的分布,使用prior重定向,可以开发出更快的MCMC后验抽样算法,相较于未采用重参数化的标准BNN,我们观测到全连接和残差网络的有效样本量最高可提高50倍。
Jun, 2022
本文研究了线性化-Laplace近似在贝叶斯优化中的应用,探究了它在序列决策问题上的效用和灵活性,同时强调了可能出现的问题和局限性。
Apr, 2023
通过使用Riemann度量和自动微分等方法,我们提出了一种简单的参数近似后验分布,用于适应真实后验分布的形状,并解决了传统方法的局限性。
Jun, 2023
在该研究中,我们提出了一种利用拉普拉斯近似的替代框架,通过使用后验的曲率和网络预测来估计方差,既避免了计算和翻转黑塞矩阵的步骤,又能够在预训练网络中高效地进行。实验证明,相比于精确和近似黑塞矩阵,该方法表现相当,并具有良好的不确定性覆盖范围。
Mar, 2024
通过贝叶斯框架探索超参数化非线性回归的预测特性,并在单神经元模型和广义线性模型中建立了后验缩固,展示了我们的方法在过参数化方案中实现了一致的预测。此外,我们的贝叶斯框架允许对预测进行不确定性估计。通过数值模拟和实际数据应用验证了我们的方法,展示了其实现准确预测和可靠不确定性估计的能力。
Apr, 2024
Bayesian深度学习的不一致性引起了越来越多的关注,温度调节或广义后验分布通常提供了解决这个问题的直接有效方法。本研究引入了一个统一的理论框架,将Bayesian不一致性归因于模型规范不当和先验不足,提出了广义Laplace近似方法来获得高质量的后验分布。
May, 2024