神经常微分方程的半监督学习：一种教师 - 学生模型方法

Oct, 2023

神经常微分方程的半监督学习：一种教师 - 学生模型方法

Semi-Supervised Learning of Dynamical Systems with Neural Ordinary Differential Equations: A Teacher-Student Model Approach

PDF

Yu Wang, Yuxuan Yin, Karthik Somayaji Nanjangud Suryanarayana, Jan Drgona, Malachi Schram...

TL;DR我们提出了 TS-NODE，这是首个使用 NODE 对动态系统进行半监督建模的方法，它通过生成廉价的合成伪轨迹来扩大状态空间中的探索，解决了由于缺乏真实系统数据而产生的挑战，并在教师 - 学生模型下根据学生的反馈来纠正教师模型。TS-NODE 在多个动态系统建模任务中比基线的神经 ODE 模型展现了显著的性能提升。

Abstract

modeling dynamical systems is crucial for a wide range of tasks, but it remains challenging due to complex nonlinear dynamics, limited observations, or lack of prior knowledge. Recently, data-driven approaches such as Neural Ordinary Differential Equations (NODE) have shown promising r

modeling dynamical systems neural ordinary differential equations semi-supervised approach cheaply generated synthetic pseudo rollouts performance improvements

发现论文，激发创造

Taylor-Lagrange 神经常微分方程：迈向快速训练和评估神经 ODE

提出了一种数据驱动的积分方法，称为 Taylor-Lagrange NODEs (TL-NODEs)，它使用定阶 Taylor 扩展进行数值积分，同时学习估计扩展的近似误差，从而在保持准确性的前提下，仅使用低阶 Taylor 扩展，大大降低了计算成本。一系列数值实验表明，TL-NODEs 比现有方法快一个数量级以上，性能也不会降低。

Jan, 2022

学习动力系统中未观测状态的控制方程

采用混合神经 ODE 结构结合符号回归来学习部分观测动力系统的控制方程，通过两个案例研究验证该方法成功地学习了这些系统中未观测状态的真实控制方程，并对测量噪声具有鲁棒性。

Apr, 2024

神经常微分方程的鲁棒性和不确定性建模改进

本文提出一种新的方法，通过考虑 ODE 求解器的终止时间 T 上的分布来模型化神经 ODE 中的不确定性，采用贝叶斯学习从数据中获得 T 的后验分布，从而实现模型选择的自动化，并用 ALT-NODE 模型来使每个数据点有自己独特的 T 的后验分布，多个后验样本的 NODE 表示可以有效预测，通过实验在合成数据和现实世界图像分类数据取得了较好的效果。

Dec, 2021

操作员学习启发的神经常微分方程建模

神经常微分方程（NODEs）是基于常微分方程的深度学习中最具影响力的作品之一，它不断推广残差网络，并开创了一个新领域。本文提出了一种基于神经算子的方法来定义时间导数术语，称为分支傅里叶神经算子（BFNO），在各种下游任务中，我们的方法明显优于现有方法。

Dec, 2023

利用神经时滞微分方程进行时滞学习

本文介绍了一种基于延迟微分方程（DDE）的连续时间神经网络方法，使用伴随灵敏度方法从数据中直接学习模型参数和延迟。该方法可以学习 DDE 参数，表现出良好的敏感性分析能力，并涉及到机器学习、动力系统学和神经网络等领域。

Apr, 2023

潜时间神经常微分方程

本文提出了一种独特的方法，通过考虑 ODE 求解器的结束时间 T 的分布来模拟 NODE 中的不确定性，从而提高了 NODE 模型的鲁棒性和不确定性建模能力，并提出了自适应的潜在时间 NODE (ALT-NODE)。

Dec, 2021

学习约束动力学的稳定神经微分方程

本文提出了一种基于稳定化术语的神经微分方程方法：稳定化神经微分方程，用于实现关于神经微分方程的约束条件，提出的方法简单易行，适用于常见的神经微分方程模型，并能够超越现有方法的应用范围。

Jun, 2023

基于同伦的神经常微分方程训练，用于准确的动态探索

本研究提出一种利用混沌和数学优化的训练算法，可有效解决 NeuralODEs 实际应用中训练时间长，效果不佳的问题。与传统训练方法相比，该算法在不更改模型架构的情况下，可大幅降低误差值，并能够准确地捕捉真实的长期行为并正确地向未来外推。

Oct, 2022

神经 ODE 的高效认证训练与鲁棒性检验

提出了一种名为 GAINS 的分析框架，它结合了三个关键思想，基于变量但离散时间步的 ODE 解算器、求解器轨迹的高效图形表示和一种基于该图形表示的新颖抽象算法，可以有效分析高维 NODEs 和提供保证，并将运行时从指数级降至线性对数阶，通过在计算机视觉和时间序列预测问题上的大量评估，证明了该方法的有效性。

Mar, 2023

可解释的深度学习用于肿瘤动力模型化和整体生存预测的神经微分方程

提出了使用肿瘤动力学神经 - 常微分方程 (TDNODE) 作为一种药理学信息推理神经网络，以便从肿瘤长期大小数据中实现模型发现，并且证明了该方法能够准确地预测患者的整体生存。

Aug, 2023