Jun, 2024

一种局部平方 Wasserstein-2 方法用于具有不确定性的模型高效重建

PDF
TL;DR本文提出了一种局部平方 Wasserstein-2 方法，用于解决具有不确定潜变量或参数的模型的逆问题。我们的方法的一个关键优势是不需要关于潜变量或参数分布的先验信息，在基于经验分布的观测数据的基础上可有效重建与不同输入相关的输出的分布。我们通过几个不确定性量化任务展示了我们提出方法的有效性，包括具有系数不确定性的线性回归、具有权重不确定性的神经网络训练，以及含有潜随机变量的常微分方程重建。
local squared wasserstein-2 methodinverse problemuncertain latent variablesuncertainty quantificationreconstructing models
发现论文，激发创造
  • 用于高效重建随机微分方程的平方 Wasserstein-2 距离

    我们提供了关于两个随机微分方程（SDEs）相关的两个概率分布的平方 Wasserstein-2（$W_2$）距离的分析。基于这个分析，我们提出了使用基于平方 $W_2$ 距离的损失函数来从噪声数据中重构 SDEs。为了展示我们的 Wasserstein 距离损失函数的实用性，我们进行了数值实验，证明了我们的方法在重构出现在多个应用中的 SDEs 方面的效率。

    Jan, 2024

  • 通过 Wasserstein 分布稳健优化桥接贝叶斯和极小值均方误差估计

    提出了一种基于 Wasserstein 模糊集的分布鲁棒的最小均方误差估计模型，该模型可以被视为一个零和博弈，其中一个统计学家选择估计器，另一个虚构对手选择一个先验，通过最小化和最大化预期的平方估计误差来实现其目标。

    Nov, 2019

  • 使用参数化神经网络重建跳跃扩散过程的高效瓦辛斯坦距离方法

    通过分析两个多维跳扩散过程的概率分布之间的 Wasserstein 距离（W - 距离），我们提出了一种时间解耦的平方 W_2 - 距离方法，该方法提供了与两个跳扩散过程的漂移、扩散和跳跃幅度函数之间的差异相关的上下界。然后，我们利用参数化神经网络从数据中高效重建未知的跳扩散过程，并展示了通过利用跳扩散过程的漂移函数的先验信息可以提高其性能。我们还通过几个示例和应用程序演示了我们提出的重建方法的有效性。

    Jun, 2024

  • 使用生成模型进行不确定性量化

    本文提出了一种基于生成模型的贝叶斯逆问题方法，特别针对图像重建中的噪声和不完整图像，并解决了贝叶斯重建中遇到的常见问题：使用包含所有可用信息的复杂数据驱动先验，并在潜在空间和数据空间中进行可计算的不确定性量化。

    Oct, 2019

  • 通过最小化 Wasserstein-2 损失进行生成建模

    通过最小化二阶 Wasserstein 损失（即 $W_2$ 损失），该论文处理无监督学习问题。论文证明了方式一通过分布相关的常微分方程（ODE）动力学的超限势潜力近似估计当前分布与真实数据分布之间的关系。主要结果显示 ODE 的时变边界概率收敛到真实数据分布。为了证明 ODE 具有唯一解，首先明确构造了与关联的非线性 Fokker-Planck 方程相关的解，并证明它与 $W_2$ 损失的唯一梯度流相吻合。基于此，通过 Trevisan 的叠加原理和指数收敛结果，构建了 ODE 的唯一解。该论文提出了一个分布相关 ODE 的欧拉方案，并在极限情况下正确恢复了 $W_2$ 损失的梯度流。通过遵循该方案和应用持久训练，设计了一个算法，其自然地适用于梯度流框架。在低维和高维实验中，我们的算法通过适当增加持久训练水平，比 Wasserstein 生成对抗网络收敛更快且性能更好。

    Jun, 2024

  • 鲁棒的 Wasserstein 分布推断及其在机器学习中的应用

    本文研究表明多个机器学习评估器，包括平方根 LASSO 和正则化逻辑回归，可以表示为分布鲁棒优化问题的解决方案，其相关的不确定区域基于适当定义的 Wasserstein 距离。因此，我们的表示使我们能够将正则化视为引入人为对手的结果，该对手扰动经验分布以考虑损失估计中的样外效应。此外，我们引入了 RWPI（Robust Wasserstein Profile Inference），这是一种新颖的推断方法，它将启发式似然性方法的使用扩展到最优传输成本的设置中（其中 Wasserstein 距离是一个特殊情况）。我们使用 RWPI 展示如何最优地选择不确定性区域的大小，从而能够选择这些机器学习评估器的正则化参数，而不使用交叉验证。数值实验也给出了验证我们理论发现的结果。

    Oct, 2016

  • 反演数据匹配的二次 Wasserstein 度量

    本文研究了二次 Wasserstein 距离作为计算逆问题数据差异度量的两个主要作用，并证明了在无限维度的情况下，$W_2$ 距离对反演过程具有平滑效应以及在有限维度的问题中，$W_2$ 距离相比经典的 $L^2$ 和 $H^{-1}$ 距离有更好的优化凸性质。

    Nov, 2019

  • 分布鲁棒逆协方差估计：Wasserstein 收缩估计器

    提出分布鲁棒的最大似然估计模型，结合 Wasserstein 模糊集，从 n 个独立样本中推断出 $p$ 维高斯随机向量的逆协方差矩阵；当估计问题没有结构信息时，该估计问题有自然地解释为非线性缩小估计器。同时，本研究还为高斯图模型开发了一个顺序二次近似算法。

    May, 2018

  • 关于无需训练数据的图像重建不确定性的量化

    计算成像在确定稀疏测量中的隐藏信息方面起着重要的作用。我们提出了一种深度变分框架，利用深度生成模型来学习近似后验分布，以有效量化图像重建的不确定性，无需训练数据。我们通过使用基于流的模型参数化目标后验并最小化它们的 KL 散度来实现准确的不确定性估计。我们还引入了具有双向正则化的强大流模型，以增强稳定性，并通过梯度增强来增强表达能力。此外，我们还通过填充设计方法在潜在先验空间和目标后验空间实现了显著的方差减少。我们在几个基准任务和两个真实世界应用（即快速 MRI 和黑洞图像重建）上验证了我们的方法。我们的结果表明，我们的方法能够提供可靠且高质量的图像重建以及强大的不确定性估计。

    Nov, 2023

  • Wasserstein 分布鲁棒卡尔曼滤波

    研究分布鲁棒平均误差估计问题，提出分布鲁棒 Kalman 滤波器以对抗模型风险，使用非凸的 Wasserstein 不确定性集合中的正态分布，通过可行的凸规划以 Frank-Wolfe 算法计算方向搜索子问题的解。我们展示了最优估计器和最不利分布构成了一种纳什均衡。

    Sep, 2018