Nov, 2023

利用Fisher度量的黎曼拉普拉斯近似

HTML
PDF
TL;DR拉普拉斯方法是一种近似目标密度函数的高斯分布方法，通过选择黎曼几何进行变换，可以提供更丰富的近似函数族，具有计算效率高的优点，并且通过引入两个可选的变种提高了无限数据极限下的准确性。
发现论文，激发创造
  • 微分方程的概率解及其在黎曼统计学中的应用

    研究了一种基于概率的数值方法，用于解决边界和初值问题，并返回解的联合高斯过程后验。提出的方法可用于非解析常微分方程上的流形统计学问题，通过较少精度推算的边际化方法，可以使统计结果不那么敏感。该方法可以用于均值计算和主要测地线分析等新的Riemann算法，也可以通过结果不那么精确的方法比点估计更快地完成。该方法认为，在整个机器学习算法流程中应跟踪数值计算引起的不确定性。

    Jun, 2013

  • 高斯混合模型的另一种EM方法：批量和随机黎曼优化

    该论文提出了一种基于 Riemannian 优化方法的高斯混合模型参数估计算法，与EM算法相比表现更优，同时给出了非渐近收敛分析的随机优化方法。

    Jun, 2017

  • 理解和加速基于粒子的变分推断

    本文从Wasserstein梯度流的角度探索基于粒子的变分推断方法，并在理论和实践上做出了贡献，揭示了现有方法的假设和关系，并提出了一个加速框架和一个基于开发理论的有原则的带宽选择方法，这些方法利用了Wasserstein空间的几何，实验结果表明了加速框架的改善收敛和带宽选择方法提高了样本准确性。

    Jul, 2018

  • 贝叶斯后验逼近误差的实际界限：一种非渐进方法

    本文提出了一种新的方法，基于Wasserstein距离的估计误差进行控制，然后通过广义Fisher距离限制Wasserstein距离。我们使用这种方法为Laplace近似和Hilbert coresets推导Wasserstein误差上限，并期望这种方法也适用于其他近似推理方法，例如综合Laplace 近似、变分推理和近似贝叶斯计算。

    Sep, 2018

  • 拉普拉斯重现——无需费力的贝叶斯深度学习

    本文介绍了一种叫做 Laplace approximation (LA) 的 Bayesian 神经网络逼近算法，该算法可以实现更好的不确定性估计和模型选择，并通过实验证明其在计算成本上具有优势。

    Jun, 2021

  • 黎曼扩散模型

    本文介绍了一种新的图像生成和似然估计方法——扩展连续时间扩散模型到任意黎曼流形，提出了一种似然估计变分框架，并在黎曼流形上证明其等价性，证明了这种新方法在各个评测标准上得到了新的最先进的表现。

    Aug, 2022

  • 贝叶斯神经网络的黎曼拉普拉斯近似

    通过使用Riemann度量和自动微分等方法，我们提出了一种简单的参数近似后验分布，用于适应真实后验分布的形状，并解决了传统方法的局限性。

    Jun, 2023

  • Fisher-Rao距离的近似和界定技术

    Fisher-Rao距离是由Fisher信息度量引起的Riemannian测地距离，本文通过计算Fisher-Rao距离的极限形式、数值逼近和上下界等方法来研究和应用该距离。

    Mar, 2024

  • 贝叶斯深度学习中的无Hessian Laplace

    在该研究中，我们提出了一种利用拉普拉斯近似的替代框架，通过使用后验的曲率和网络预测来估计方差，既避免了计算和翻转黑塞矩阵的步骤，又能够在预训练网络中高效地进行。实验证明，相比于精确和近似黑塞矩阵，该方法表现相当，并具有良好的不确定性覆盖范围。

    Mar, 2024

  • FSP-Laplace：贝叶斯深度学习中拉普拉斯近似的函数空间先验

    我们提出一种基于拉普拉斯近似和高斯过程先验的方法，通过直接在函数空间中施加先验来解决深度网络中整体性误差估计的问题，并通过矩阵自由线性代数的高度可扩展方法获得改进的结果。

    Jul, 2024