自适应优化的隐式最大后验滤波

ICLRNov, 2023

Implicit Maximum a Posteriori Filtering via Adaptive Optimization

Gianluca M. Bencomo, Jake C. Snell, Thomas L. Griffiths

TL;DR用优化方法代替矩阵存储、求逆和乘法、蒙特卡罗估计等不适用于高维状态空间（如人工神经网络的权重空间）的传统方法，将标准的贝叶斯滤波问题转化为对具有时变目标的优化问题。我们发现，在线性 - 高斯模型下的卡尔曼滤波以及非线性模型的实验结果表明，我们的框架能够得到有效、稳健且可扩展到高维系统的滤波器，与标准贝叶斯滤波解决方案相比具有优势，并且我们认为，更容易调整优化器而不是确定正确的滤波方程，使我们的框架成为处理高维滤波问题的有吸引力的选择。

Abstract

bayesian filtering approximates the true underlying behavior of a time-varying system by inverting an explicit generative model to convert noisy measurements into state estimates. This process typically requires

bayesian filtering time-varying system optimization high-dimensional state spaces neural networks

发现论文，激发创造

使用变分推断学习最优滤波器

利用变分推断学习参数化分析映射，通过估计条件分布对于动态系统的滤波分布，在过滤线性和非线性动态系统中也适用。

Jun, 2024

通过广义贝叶斯实现鲁棒卡尔曼滤波

在存在异常值和误设测量模型的状态空间模型的在线滤波中，我们导出了一种新颖、可靠证明的闭合贝叶斯更新规则。我们的方法将广义贝叶斯推理与滤波方法（如扩展和集成卡尔曼滤波器）相结合，其中前者用于展示鲁棒性，后者用于确保非线性模型的计算效率。在异常值测量的一系列滤波问题（如物体跟踪、高维混沌系统的状态估计和在线神经网络学习）中，我们在更低的计算成本下与其他鲁棒滤波方法（如基于变分贝叶斯的方法）相匹配或表现更好。

May, 2024

Bayesian ODE 求解器：最大后验估计

本文讨论使用高斯 - 马尔科夫先验将常微分方程的数值解作为非线性贝叶斯推断问题来解决的方法，并针对一些高斯马尔科夫先验阐述了高斯估计器的分类方法，其中最大后验估计处于分类层次结构的顶部。

Apr, 2020

神经卡尔曼滤波

本文介绍了一种基于梯度下降逼近的 Kalman 滤波方法，其仅需要进行加权预测误差的局部计算，同时还提出了一种适应性学习规则。作者在一个简单的 Kalman 滤波任务中展示了该方法的性能，并提出了一种神经实现方法。

Feb, 2021

贝叶斯过滤统一自适应和非自适应神经网络优化方法

通过贝叶斯滤波的方法，我们提出了一种新的神经网络优化器 AdaBayes，能够自适应地在 SGD 和 Adam 之间切换，并且能够恢复出 AdamW 的效果，同时具有和 SGD 相当的泛化性能。

Jul, 2018

基于最优传输的高维非线性滤波

基于最优输运解释的非线性滤波方法通过模拟和无似然算法估计从当前状态分布到下一个时间步的 Brenier 最优输运映射，利用神经网络建模复杂和多模态分布以及采用随机优化算法提高可伸缩性，通过广泛的数值实验与 SIR 粒子滤波器和集合卡尔曼滤波器进行比较，展示了我们方法在样本效率、高维可伸缩性和捕捉复杂和多模态分布等方面的优越性。

Oct, 2023

普通微分方程的概率解作为非线性贝叶斯滤波：新视角

本文提出了一种以高斯过程回归为基础的概率数值逼近方法来解决常微分方程，通过构建一个测量序列，观测高斯过程导数和向量场之间的差值，可以将问题转化为非线性贝叶斯滤波问题，从而推导出新颖的高斯支持 ODE 算法以及粒子滤波方法的非高斯近似。

Oct, 2018

计算感知的卡尔曼滤波和平滑

高维 Gauss-Markov 模型的推断中，我们提出了一种概率数值方法以解决滤波和平滑中存在的时间和内存复杂性难题，并演示了该方法在大规模气候数据集上的可扩展性。

May, 2024

异常值不敏感卡尔曼滤波：理论与应用

从有噪音观测数据中对动态系统进行状态估计是许多应用中的一个基本任务。本文介绍了一种无参数算法，通过简短的迭代过程对 Kalman 滤波器的标准更新步骤进行在线估计，从而减轻观测数据中异常值的有害影响。仿真和实地实验评估证明了我们的方法在滤波场景中对异常值的鲁棒性，相比其他算法表现出有竞争力的性能。

Sep, 2023

卷积贝叶斯滤波

通过引入一个附加事件来规定不等条件，我们将条件概率转换成类似于卷积的特殊积分，实现了传统贝叶斯滤波的更普适框架，称之为卷积贝叶斯滤波。该框架包含了标准贝叶斯滤波作为一种特殊情况，当不等条件的距离度量选取为狄拉克函数时。通过选择不同类型的不等条件，我们可以更全面地考虑模型不匹配问题。最后，我们通过将经典滤波算法改造成卷积版本的方式来验证我们的方法的有效性，其中包括了卡尔曼滤波器、扩展卡尔曼滤波器、无迹卡尔曼滤波器和粒子滤波器。

Mar, 2024