扩展线性回归：通过曲线下面积的卡尔曼滤波方法来最小化损失
本文研究了在线预测未知、部分观察的线性系统生成的观察值的问题，并使用在线最小二乘法来实现对未来观察值的预测，其中系统模型和噪声统计未知，但状态空间已知，本文对 Kalman 滤波器实现了对数遗憾的保证，并扩展到非爆炸系统类别，包括临界不稳定系统。
Feb, 2020
本文研究了 Kalman filter 在时间序列预测和分析中的应用，证明了当过程噪声非退化时，预测的依赖关系呈指数衰减。由此推导出基于少量最近观测的 LDS 线性动态系统在线算法。它的更新运行时间与回归深度成线性关系。
Sep, 2018
本文介绍了一种基于梯度下降逼近的 Kalman 滤波方法，其仅需要进行加权预测误差的局部计算，同时还提出了一种适应性学习规则。作者在一个简单的 Kalman 滤波任务中展示了该方法的性能，并提出了一种神经实现方法。
Feb, 2021
该研究提出了一种基于卡尔曼滤波器的随机优化算法 KOALA，其将损失函数视为相对于某个理想值的噪声观测，以估计未知参数，并展示了其在训练神经网络方面的高效性和可扩展性。
Jul, 2021
该研究提出了一种高效的在线近似贝叶斯推断算法，用于从可能的非静态数据流中估计非线性函数的参数，并通过使用后验精度矩阵的新型低秩加对角线分解，使每步成本与模型参数数量呈线性关系，与基于随机变分推断的方法相比，我们的方法是完全确定性的，不需要步长调整，并显示实验表明，这导致学习速度更快（更节约样本），从而更快地适应不断变化的分布，并作为上下文强化学习算法的一部分积累奖励更快。
May, 2023
本文解决了常见的线性二次估计问题，提出了真正的鲁棒滤波器：在测量噪声被敌对地破坏了甚至只有一个常数部分时，我们给出了强有力的可证明保证。该框架可以模拟重尾和甚至非平稳的噪声过程。我们的算法在鲁棒化卡尔曼滤波器方面具有竞争力，可以与知道破坏位置的最优算法竞争。
Nov, 2021
这篇研究论文探索了一种新的 Kalman 滤波器，它适用于具有重尾分布的噪声和误差，使用 “尾协方差” 矩阵来求解。与标准的 Kalman-Gaussian 滤波器相比，在使用这种滤波器时，新的观察结果会被一定程度的减弱，特别是对于尾指数较小的情况。
Apr, 2000
本文介绍了在学习增强的在线算法中使用回归技术来预测未来输入参数的方法，并在广义滑雪租赁、装箱问题、最小完成时间调度等一般在线搜索方案的背景下探讨了这种方法。通过在设计回归问题的损失函数中结合在线优化基准，我们显示了这种回归问题样本复杂度的近似上下界，并将我们的结果扩展到了不可知设置。
May, 2022
本文针对大规模优化问题中的迭代挑战与函数条件性问题，提出了一种叫做 kSGD 的基于卡尔曼滤波的二阶近端 / 随机梯度下降方法，针对线性回归问题进行了分析和优化，并进一步为 kSGD 在多个问题领域的扩展提供了实验依据。
Dec, 2015