贝叶斯神经网络的黎曼拉普拉斯近似
研究了一种基于概率的数值方法,用于解决边界和初值问题,并返回解的联合高斯过程后验。提出的方法可用于非解析常微分方程上的流形统计学问题,通过较少精度推算的边际化方法,可以使统计结果不那么敏感。该方法可以用于均值计算和主要测地线分析等新的Riemann算法,也可以通过结果不那么精确的方法比点估计更快地完成。该方法认为,在整个机器学习算法流程中应跟踪数值计算引起的不确定性。
Jun, 2013
本文提出一种方法来训练拉普拉斯逼近神经网络中的不确定性,介绍了用于拉普拉斯逼近网络的不确定性单元,并通过不确定性感知目标来训练这些单元,以提高在不同不确定性量化任务中的性能表现。
Oct, 2020
本文介绍了一种叫做 Laplace approximation (LA) 的 Bayesian 神经网络逼近算法,该算法可以实现更好的不确定性估计和模型选择,并通过实验证明其在计算成本上具有优势。
Jun, 2021
本文提出了一种新的方法(L2M),通过使用Adagrad等优化器已经估算出来的梯度二次矩来构造Laplace近似,而不需要计算曲率矩阵。该方法不需要改变模型或优化器,可以通过几行代码实现,并且不需要引入任何新的超参数。我们希望该方法能为深度神经网络的不确定性估计开辟新的研究方向。
Jul, 2021
本文重新推导了在线 Laplace 方法,表明它们针对一种在模型选择问题中纠正了模态的 Laplace 证据的变分界。在线 Laplace 方法以及其纠正模态的版本在近乎平稳点上实现最优解,通过应用于UCI回归数据集,优化关键参数并防止过拟合,优于传统的早期停止方法。
Jul, 2023
拉普拉斯方法是一种近似目标密度函数的高斯分布方法,通过选择黎曼几何进行变换,可以提供更丰富的近似函数族,具有计算效率高的优点,并且通过引入两个可选的变种提高了无限数据极限下的准确性。
Nov, 2023
在该研究中,我们提出了一种利用拉普拉斯近似的替代框架,通过使用后验的曲率和网络预测来估计方差,既避免了计算和翻转黑塞矩阵的步骤,又能够在预训练网络中高效地进行。实验证明,相比于精确和近似黑塞矩阵,该方法表现相当,并具有良好的不确定性覆盖范围。
Mar, 2024
Bayesian深度学习的不一致性引起了越来越多的关注,温度调节或广义后验分布通常提供了解决这个问题的直接有效方法。本研究引入了一个统一的理论框架,将Bayesian不一致性归因于模型规范不当和先验不足,提出了广义Laplace近似方法来获得高质量的后验分布。
May, 2024
Bayesian神经网络的近似后验在重新参数化下保持不变的问题被证明在线性化拉普拉斯近似中得到缓解。通过发展一种新的几何观点来解释线性化的成功,并利用Riemann扩散过程将这些重新参数化不变性扩展到原始神经网络预测,从而提出了一种简单的近似后验抽样算法,从而在实证中提高了后验拟合。
Jun, 2024
我们提出一种基于拉普拉斯近似和高斯过程先验的方法,通过直接在函数空间中施加先验来解决深度网络中整体性误差估计的问题,并通过矩阵自由线性代数的高度可扩展方法获得改进的结果。
Jul, 2024