我们通过控制理论研究将深层残差神经网络作为连续动力系统的表达能力。具体而言，我们考虑从监督学习中产生的两个特性，即通用插值 - 能够匹配任意输入和目标训练样本，以及紧密相关的通用逼近 - 能够通过流映射逼近输入 - 目标函数关系。在控制结构变换族具有仿射不变性的假设下，我们给出了通用插值的表征，证明了非线性网络结构基本上都具备这一特性。此外，我们阐明了通用插值和通用逼近在一般控制系统背景下的关系，证明了这两个特性不能从彼此推导出来。同时，我们确定了控制结构和目标函数的条件，确保了这两个概念的等价性。

Sep, 2023

本研究介绍了使用多项式神经常微分方程（polynomial neural ODE）框架解决神经常微分方程（neural ODE）应用中，解释性和泛化能力问题的方法，并且演示了多项式神经常微分方程在预测能力和符号回归方面的优秀性。

Aug, 2022

本文探讨了深度学习神经网络作为最优控制问题的离散化，提出了一类算法来解决离散最优控制问题，并探讨了在时间离散化方面的延伸。

Apr, 2019

本文研究基于连续时间参数的 ODE 类模型及其泛化界限，并探讨其与深度残差网络的类比关系，说明权重矩阵之间的差异对于神经网络的泛化能力有何影响。

May, 2023

深度残差网络与神经常微分方程之间的离散化联系被建立，证明了在特定条件下网络收敛至全局最小值。

Sep, 2023

提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。

Jun, 2018

神经常微分方程（neural ODE）的宽度 p 和层转换的数量 L 之间存在平衡折衷，通过对数据集插值和度量插值进行评估，发现对于数据集插值，L 随着 O（1 + N /p）的规模变化，对于度量插值，L 为 O（1 +（pε ^ d）^ -1）。在自主情况下，L=0 需要单独研究，关注数据集插值问题。我们解决了 ε- 近似可控性的放宽问题，并建立 ε 的误差减小率为 O（log（p）p ^ -1 /d）。在高维度设置中，我们进一步证明 p = O（N）个神经元可能足以实现精确控制。

Jan, 2024

该篇论文处理的是一种监督式学习框架，利用神经控制微分方程预测来自不规则采样时间序列的结果，并通过理论结果与神经网络的 Lipschitz 常数关联，从而上界估计经验风险最小化器得出的期望损失与真实预测器期望损失之间的归纳差距。

May, 2023

本研究介绍了一个新的神经模型：神经控制微分方程模型，解决了利用常规微分方程对时间动态进行建模时无法针对后续观察调整轨迹的问题，并通过实验和理论结果展示其在较多数据集上实现了与其他神经网络模型相当的最佳性能

May, 2020

神经常微分方程（Neural ODEs）在深度学习文献中取得了巨大成功，最近提出了连续版本的 U-net 架构，在图像应用中显示出比离散版本更高的性能，并围绕其性能和鲁棒性提供了理论保证。本文探讨了使用神经 ODE 解决学习逆问题的可能性，尤其是在已知的学习 Primal Dual 算法中，并将其应用于 CT 重建。

May, 2024