神经控制微分方程的泛化能力

May, 2023

On the Generalization Capacities of Neural Controlled Differential Equations

Linus Bleistein, Agathe Guilloux

TL;DR该篇论文处理的是一种监督式学习框架，利用神经控制微分方程预测来自不规则采样时间序列的结果，并通过理论结果与神经网络的 Lipschitz 常数关联，从而上界估计经验风险最小化器得出的期望损失与真实预测器期望损失之间的归纳差距。

Abstract

We consider a supervised learning setup in which the goal is to predicts an outcome from a sample of irregularly sampled time series using Neural Controlled Differential Equations (Kidger, Morrill, et al. 2020).

supervised learning time series neural controlled differential equations discretization bias generalization gap

发现论文，激发创造

用于非规则时间序列的神经控制微分方程

本研究介绍了一个新的神经模型：神经控制微分方程模型，解决了利用常规微分方程对时间动态进行建模时无法针对后续观察调整轨迹的问题，并通过实验和理论结果展示其在较多数据集上实现了与其他神经网络模型相当的最佳性能

May, 2020

神经常微分方程和深度残差网络的泛化界

本文研究基于连续时间参数的 ODE 类模型及其泛化界限，并探讨其与深度残差网络的类比关系，说明权重矩阵之间的差异对于神经网络的泛化能力有何影响。

May, 2023

深度神经网络、通用的普遍插值和可控制的 ODE

通过离散化有控制的常微分方程（也称为神经常微分方程）以及一些连接性，我们研究表达性质并展示了通用差错的普适插值性质（比通用逼近性质稍弱），并探究最少参数个数在保证表达能力的情况下的取值。

Aug, 2019

使用神经控制微分方程学习动态图嵌入

研究动态图的表示学习，提出了 Graph Neural Controlled Differential Equation (GN-CDE) 模型，通过深度神经网络参量化向量场和交互导数，对节点嵌入轨迹的动态演化进行建模，实现了在动态演化的图上表达动态的能力。

Feb, 2023

使用神经控制微分方程连续建模对照结果

借助控制微分方程的数学，提出一种新方法用于处理不规则采样数据的因果推断任务，即治疗效果神经控制微分方程（TE-CDE），以便在任何时间点评估可能的结果，并通过对抗性训练来解决长期临床研究中的时间相关混淆问题。该方法在一系列不规则采样的临床情境中的模拟环境中表现优于现有方法。

Jun, 2022

深度学习作为最优控制问题：模型与数值方法

本文探讨了深度学习神经网络作为最优控制问题的离散化，提出了一类算法来解决离散最优控制问题，并探讨了在时间离散化方面的延伸。

Apr, 2019

微分方程作为深度神经网络的模型

本研究系统地分析了用作机器学习模型的微分方程的一般性质，并证明了损失函数相对于隐藏状态的梯度可被视为一般化的动量，可以应用经典力学的工具。此外，我们还展示了残差网络和前馈神经网络可以与微小非线性权重矩阵偏差只稍微偏离单位矩阵的微分方程相关。我们提出了一种描述这种网络的微分方程并研究了它的属性。

Sep, 2019

局部正则化神经微分方程：有些黑盒应该保持关闭！

通过使用内部成本启发式算法，本文开发了两种采样策略来减少函数评估数量并加速预测，与全局正则化相比，我们的方法在普通微分方程和随机微分方程中具有相似的性能而不会影响实施的灵活性。

Mar, 2023

神经控制微分方程用于在线预测任务

本文提出神经控制微分方程 (Neural CDE) 用于解释不规则时间序列的函数，同时研究了在连续监测过程中，如何解决实时在线预测的问题，本文提出的插值方案具有测量性和平滑性，并在 MIMIC-IV 医疗数据库上进行了实证测试，对于三个连续监测任务的准确性均有提升。

Jun, 2021

学习外推和控制方程

使用浅层神经网络的方法识别数据中的简明方程，并扩展可学习的方程类别以包括除法，并改进学习和模型选择策略以用于挑战性的真实数据。

Jun, 2018