通过流映射算子学习随机动力学系统

May, 2023

通过流映射算子学习随机动力学系统

Learning Stochastic Dynamical System via Flow Map Operator

Yuan Chen, Dongbin Xiu

TL;DR本文提出了一种用于学习未知随机动态系统的数值框架，称为随机流映射学习（sFML），它是流映射学习（FML）的一种扩展。通过使用残差网络（ResNet）和生成对抗网络（GANs）来构建随机流映射，提出的 sFML 方法在各种类型的随机系统中展示了出色的灵活性和有效性。

Abstract

We present a numerical framework for learning unknown stochastic dynamical systems using measurement data. Termed stochastic flow map learning (sFML), the new framework is an extension of flow map learning (FML) that was developed for learning deterministic dynamical systems. For learning stochastic systems, we define a stochastic flow map that is a superpos

stochastic dynamical systems stochastic flow map learning (sfml)residual network (resnet)generative adversarial networks (gans)numerical examples

发现论文，激发创造

未知动态系统的流图学习：概览、实现和基准测试

流程图学习（FML）与深度神经网络（DNNs）相结合，已经展示出对未知动力系统的数据驱动建模的潜力。FML 的一个显著特点是，在不存在精确的数学模型的情况下，它能够为部分观测到的系统产生准确的预测模型。本文概述了 FML 框架以及其成功实施的重要计算细节。我们还提供了一组明确定义的用于学习未知动力系统的基准问题。为了确保这些问题可以进行交叉验证并且结果可重现，所有这些问题的数值细节以及其 FML 的结果都已呈现出来。

Jul, 2023

流动地图匹配

基于动态测量输运的生成模型通过学习常微分方程或随机微分方程，将初始条件从已知基础分布推导到目标分布。我们介绍了流图匹配算法，通过学习潜在常微分方程的双时间流图，得到了一个高效的几步生成模型，其步数可以根据精度和计算成本进行灵活的调节。与扩散模型或随机插值方法相比，流图匹配方法能够以显著降低的采样成本生成高质量样本。

Jun, 2024

基于数据的一般哈密顿动力学预测 —— 学习精确辛映射

使用生成函数的神经网络逼近演化映射，以实现非线性时间序列的学习和预测。

Mar, 2021

切换流匹配：通过切换 ODE 来消除奇异性

通过使用切换的普通微分方程 (ODEs) 来消除奇点问题，我们提出了一个更通用的框架，Switched FM (SFM)，以解决连续时间生成模型中的采样速度缓慢的问题，并演示了该框架的有效性。

May, 2024

随机修改流在黎曼随机梯度下降中的应用

给出了 Riemannian 随机梯度下降（RSGD）到 Riemannian 梯度流和所谓的 Riemannian 随机修改流（RSMF）的收敛速率的定量估计。使用了随机微分几何的工具，我们展示了在小学习率情况下，RSGD 可以通过由无穷维威纳过程驱动的 RSMF 的解来近似。RSMF 考虑了 RSGD 的随机波动，并且相对于确定性的 Riemannian 梯度流提高了近似的阶数。RSGD 使用了一个投射映射的概念，即，一个对指数映射的成本有效逼近，并且在对投射映射、流形的几何和梯度的随机估计作出假设的情况下，我们证明了扩散逼近的弱误差的定量界限。

Feb, 2024

随机正常化流

提出了随机归一化流的概念，它是一种在机器学习和统计力学领域中解决概率分布采样问题的方法，具有较快的采样效率和较强的表示能力。

Feb, 2020

利用深度学习坐标和流动图增强多尺度系统中的计算效率

利用深度学习技术，本文展示了如何开发一种精确的多尺度系统时间步进方法，通过坐标和流图的联合发现来表示多尺度动态，同时采用迭代时间步进估计减少的变量，实现了最先进的预测准确性，同时减少了计算成本。

Apr, 2024

通过动力系统进行深度学习：一种逼近视角

该研究利用连续时间动力系统的方法，将深度残差网络理想化为动力系统，从逼近的角度研究其通用逼近性，并建立了新的近似理论，揭示了流映射逼近组合函数的新范例，促进了深度学习中有用的数学框架的建立。

Dec, 2019

高斯混合分类中随机梯度下降的动力学平均场理论

通过使用动力学均场理论的方法，我们分析了随机梯度下降在单层神经网络分类高维高斯混合数据上的学习动态。我们通过定义一种随机过程将随机梯度下降扩展到连续时间极限，称之为随机梯度流，并探讨了算法控制参数对其在损失函数空间中的导航的影响。

Jun, 2020

使用扩散图进行稳定的生成建模

我们提出了一个结合扩散映射和兰格朗日动力学的生成模型，通过扩散映射近似训练样本的漂移项，并在离散时间的兰格朗日采样器中实现，以生成新样本。通过设置核带宽与未调整的兰格朗日算法中使用的时间步长相匹配，我们的方法有效地解决了通常与时间步长严重随机微分方程相关的稳定性问题。我们的框架可自然地扩展到生成条件样本。通过对合成数据集和随机子网格尺度参数化条件采样问题进行实验，我们验证了我们提出的方案的性能。

Jan, 2024