Nov, 2023

利用 Fisher 度量的黎曼拉普拉斯近似

PDF
TL;DR拉普拉斯方法是一种近似目标密度函数的高斯分布方法，通过选择黎曼几何进行变换，可以提供更丰富的近似函数族，具有计算效率高的优点，并且通过引入两个可选的变种提高了无限数据极限下的准确性。
laplace's methodgaussian distributionapproximationbayesian inferenceriemannian geometry
发现论文，激发创造
  • 贝叶斯神经网络的黎曼拉普拉斯近似

    通过使用 Riemann 度量和自动微分等方法，我们提出了一种简单的参数近似后验分布，用于适应真实后验分布的形状，并解决了传统方法的局限性。

    Jun, 2023

  • Fisher-Rao 距离的近似和界定技术

    Fisher-Rao 距离是由 Fisher 信息度量引起的 Riemannian 测地距离，本文通过计算 Fisher-Rao 距离的极限形式、数值逼近和上下界等方法来研究和应用该距离。

    Mar, 2024

  • CES 分布的 Fisher-Rao 几何

    当处理参数统计模型时，将参数空间赋予费舍尔信息度量可以自然地产生一个黎曼流形，由该度量引导的参数几何称为费舍尔 - 瑞奥信息几何。有趣的是，这为利用微分几何中的许多工具提供了一个视角。介绍这些概念后，我们将在椭圆分布框架中呈现这些几何工具的一些实际用途，这部分内容主要包括协方差矩阵估计的黎曼优化、内在克拉默 - 瑞奥界限以及使用黎曼距离的分类。

    Oct, 2023

  • 高斯过程的拉普拉斯近似方法作为模型选择准则

    通过引入基于拉普拉斯近似的多种度量标准，我们解决了之前在高斯过程模型的模型选择中存在的性能和运行时间问题，并且在不损失计算速度的情况下，我们的度量标准在质量上与黄金标准动态嵌套采样相当，允许更快速、高质量地对高斯过程模型进行模型选择。

    Mar, 2024

  • 基于 Monge 修补的拉格朗日流形蒙特卡罗

    本文提出一种新型的利用 Monge patch 嵌入为高维欧几里得空间，并采用由直接几何推理确定的诱导度量的可替代性黎曼度量，该度量仅需要一阶梯度信息和快速的逆和行列式，从而将计算迭代的复杂度从三次多项式降低到二次多项式，使得 Lagrangian Monte Carlo 在该度量下能够高效地探索目标分布。

    Feb, 2022

  • 贝叶斯后验逼近误差的实际界限：一种非渐进方法

    本文提出了一种新的方法，基于 Wasserstein 距离的估计误差进行控制，然后通过广义 Fisher 距离限制 Wasserstein 距离。我们使用这种方法为 Laplace 近似和 Hilbert coresets 推导 Wasserstein 误差上限，并期望这种方法也适用于其他近似推理方法，例如综合 Laplace 近似、变分推理和近似贝叶斯计算。

    Sep, 2018

  • 广义拉普拉斯近似

    Bayesian 深度学习的不一致性引起了越来越多的关注，温度调节或广义后验分布通常提供了解决这个问题的直接有效方法。本研究引入了一个统一的理论框架，将 Bayesian 不一致性归因于模型规范不当和先验不足，提出了广义 Laplace 近似方法来获得高质量的后验分布。

    May, 2024

  • 概率几何度量

    使用 Riemannian 几何工具研究了概率生成降维模型的几何结构，以高斯过程为基础，定义了一种度量分布，利用度量在潜变量空间中进行插值并测量距离，从而更恰当地生成新数据。

    Nov, 2014

  • 潜在高斯过程模型的 Vecchia-Laplace 近似的迭代方法

    通过提出几种推理方法，我们对 Vecchia-Laplace 逼近可以进行更快的计算，并且在速度和预测准确性方面相对于基于 Cholesky 的方法有显著的改进。

    Oct, 2023

  • 镜像 Langevin Monte Carlo 的 Wasserstein 控制

    本研究主要探讨了在 Hessian 型流形上的 Langevin 扩散过程与镜像下降的关系，运用该理论推导出了 Hessian Riemannian Langevin Monte Carlo 算法的非渐进抽样误差上限并证明了其适用性。

    Feb, 2020