一种用于贝叶斯推断的非参数集成变换方法
该研究通过引入新的分布式实现的集合卡尔曼滤波器(EnKF),实现了对高维问题中大数据集的非顺序同化。采用传统的 EnKF 算法在计算上是复杂的,并在需要与背景协方差矩阵交互的应用中存在困难,因此需要使用顺序同化等方法,但这可能导致意外后果,如对观测排序的依赖。我们的实现利用了分布式计算的最新进展,在分布式内存中构建和使用完整的模型误差协方差矩阵,允许对所有观测进行批量同化,消除了顺序依赖。对比性能评估包括合成和现实世界的古气候重建应用结果表明,新的非顺序实现优于传统的顺序实现。
Nov, 2023
针对高维度的非高斯状态空间模型、非线性且可能是混沌动力学以及空间与时间稀疏的观测,我们提出了一种新的过滤方法,使用交通测度、凸优化和概率图模型的思想来产生高维度下的坚韧的集成近似过滤分布。我们的方法可被理解为集成卡尔曼滤波器(EnKF)的自然推广,使用随机或确定性耦合来进行非线性更新。使用非线性更新可以降低 EnKF 的固有偏差,只带来少量的计算成本。我们避免了任何形式的重要性采样,并引入了维度可扩展性的非高斯本地化方法。我们的框架在混沌区域的 Lorenz-96 模型的挑战配置下实现了最先进的跟踪性能。
Jun, 2019
通过集成卡尔曼滤波器(EnKF)近似推断隐藏状态的后验分布,我们提出了一种改进的变分推断方法,有效地训练高斯过程状态空间模型(GPSSM),并在学习和推断性能方面优于现有方法。
Dec, 2023
本篇论文提出了对于粒子滤波器中常常出现的集合退化现象,使用了基于 Sinkhorn 算子的二阶精度分析方法,使得 ensemble transform particle filter 可以在小到中等大小的组集情况下得到更高的精度,同时也提出了非线性 ensemble transform filter。
Aug, 2016
本文主要介绍了一种实用的数据同化方法 —— 基于集合卡尔曼滤波算法,它将系统状态及其不确定性表示为系统状态的集合,重点在于易于使用和计算速度而非提高准确性。作者通过一些数值实验证明了该方法在全球天气预报模型下合理有效地同化真实大气数据的效率和准确性。
Nov, 2005
我们提出了顺序集成变换(SET)方法,这是一种从贝叶斯后验分布中生成近似样本的方法,该方法通过解决一系列离散最优传输问题,生成将先验样本映射到后验样本的一系列传输计划。我们证明了 SET 方法产生的 Dirac 混合分布序列在样本大小无限增大时弱收敛至真后验分布,并且数值结果表明,与标准的顺序蒙特卡罗(SMC)方法相比,SET 方法对于马尔科夫突变核的选择更加稳健,并且在探索复杂的后验分布时需要更少的计算量。最后,我们描述了自适应方案,可以完全自动化 SET 方法的使用。
Sep, 2019
使用 U-Net 技术结合集合卡尔曼滤波算法,进行数据同化实验,得出 U-Net Kalman Filter 方法可以与传统的 3DVar、En3DVar 或 EnKF 方法相媲美或超越其性能,并展示训练后的 U-Net 模型能够转移到高分辨率模型中进行实现,在小集合规模下表现出色。
Mar, 2024
利用合适的集合卡尔曼滤波器的扩展来执行逻辑回归的贝叶斯推断,提出了两个相互作用的粒子系统,对这些相互作用的粒子系统收敛速率进行了定量证明,将这些技术应用于基于 ReLU 网络的贝叶斯近似方法以评估预测不确定性的效果。
Sep, 2023
我们提出了一种用于解决高维非线性滤波问题的集成评分滤波器(EnSF),具有出色的准确性。EnSF 通过利用在伪时间域中定义的基于评分的扩散模型来表示滤波密度的演化,攻克了现有滤波方法(如粒子滤波器或集成卡尔曼滤波器)在处理高维度和高度非线性问题时低准确性的主要缺点。与训练神经网络来近似评分函数的现有扩散模型不同,我们开发了一种无需训练的评分估计方法,使用基于小批量的蒙特卡洛估计器直接近似评分函数,既可以在解决高维非线性问题时提供足够的准确性,又可以节省大量用于训练神经网络的时间。EnSF 的另一个重要方面是其分析更新步骤,逐渐将数据信息融入评分函数,这在处理非常高维度非线性滤波问题时缓解退化问题是至关重要的。我们使用高维洛伦兹系统来演示我们方法的性能。EnSF 在可靠地跟踪高度非线性观测过程的极高维洛伦兹系统(高达 1,000,000 维)中表现出了令人惊讶的性能,这是现有滤波方法面临的一个众所周知的具有挑战性的问题。
Sep, 2023