扩散淬火改善常微分方程的概率积分参数估计

Feb, 2024

扩散淬火改善常微分方程的概率积分参数估计

Diffusion Tempering Improves Parameter Estimation with Probabilistic Integrators for Ordinary Differential Equations

Jonas Beck, Nathanael Bosch, Michael Deistler, Kyra L. Kadhim, Jakob H. Macke...

TL;DR该研究通过扩散温调技术改进了微分方程中基于梯度的参数优化的收敛性，并在不同复杂度的动力系统中展示了其有效性。

Abstract

ordinary differential equations (ODEs) are widely used to describe dynamical systems in science, but identifying parameters that explain experimental measurements is challenging. In particular, although ODEs are differentiable and would allow for gradient-based →

ordinary differential equations parameter optimization diffusion tempering probabilistic numerical methods dynamical systems

发现论文，激发创造

普通微分方程的数据自适应概率似然近似

本文提出一种基于贝叶斯过滤的概率常微分方程求解方法，通过从带噪声 ODE 观测数据中学习，能够显著减少参数的敏感性，提高参数估计的准确性。

Jun, 2023

扩散 ODE 的最大似然估计的改进技术

本研究提出多个改进扩散 ODE 的最大似然估计技术，包括训练和评估技术，通过这些技术，我们无需变分去量化或数据增强在图像数据集上实现了具有最先进似然估计结果（CIFAR-10 上的 2.56，ImageNet-32 上的 3.43）。

May, 2023

基于 ODE 的扩散采样的轨迹规律性

扩散基于生成模型使用随机微分方程和其等效的常微分方程在复杂数据分布与可追踪的先验分布之间建立平滑连接。本文中，我们发现扩散模型的基于常微分方程的采样过程中存在着一些有趣的轨迹特性。我们表征了一个隐式去噪轨迹，并讨论了其在形成具有强形状规律性的耦合采样轨迹中的重要作用，无论生成的内容是什么。我们还描述了一种基于动态规划的方案，使得采样的时间安排更好地适应底层轨迹结构。这种简单的策略对于任何给定的基于常微分方程的数值求解器只需要最小的修改，并且在计算成本几乎可忽略的情况下，能够在图像生成中提供卓越的性能，特别是在 5 到 10 个函数评估中。

May, 2024

扩散模型生成过程最优选择的探索：普通微分方程与随机微分方程对比

本文主要研究了扩散模型在计算机视觉中的应用，比较和分析了基于 ODE 和 SDE 的概率流和扩散模型在不同情况下的性能差异，研究表明，对于特定的脉冲形状误差，扩散系数越大，使用 SDE 模型生成样本的误差就会指数级下降，并且变化扩散系数可以提高样本质量。

Jun, 2023

扩散模型的几何视角

本文研究扩散模型的采样动力学，通过挖掘它的几何结构，提出一种简单却强大的采样理论框架，并将扩散模型的优化与经典的均值偏移算法关联起来。

May, 2023

将扩散模型的 ODE 求解器提炼为更小的步骤

提出了一种简单的蒸馏方法，通过优化 ODE 求解器而不是训练去噪网络，来提高扩散模型的采样速度和图像质量。通过蒸馏过程，D-ODE 求解器在生成样本时优于其他 ODE 求解器。

Sep, 2023

优化集成逼近加速扩散采样过程

优化 ODE 求解器系数的积分逼近技术提升了基于 ODE 的采样算法的性能并加速了采样过程。