延迟微分神经网络
本文介绍了一种名为 Neural Delay Differential Equations（NDDE）的连续深度神经网络，使用输入的延迟动态学方程计算相应的梯度，并用数个实际案例展示了 NDDE 比传统模型具有更强的非线性表达能力和性能表现的优势。
Apr, 2023
该研究提出一种新的带延迟的连续深度神经网络模型 —— 神经延迟微分方程（NDDEs），使用伴随灵敏度方法计算相应的梯度，并通过多个案例证明其在模拟复杂模型和实际图像数据集方面具有较优的表现，这表明将动态系统因素引入网络设计有助于提高网络性能。
Feb, 2021
本文介绍了一种基于延迟微分方程（DDE）的连续时间神经网络方法，使用伴随灵敏度方法从数据中直接学习模型参数和延迟。该方法可以学习 DDE 参数，表现出良好的敏感性分析能力，并涉及到机器学习、动力系统学和神经网络等领域。
Apr, 2023
本论文在神经延迟微分方程（Neural DDE）的基础上，提出了一种新的神经状态依赖延迟微分方程（SDDDE）的框架，该方法能更好地适用于包含多个状态依赖延迟的复杂系统，并在多种延迟动态系统的数据上显示了较高的性能。
Jun, 2023
神经常微分方程（NODEs）是基于常微分方程的深度学习中最具影响力的作品之一，它不断推广残差网络，并开创了一个新领域。本文提出了一种基于神经算子的方法来定义时间导数术语，称为分支傅里叶神经算子（BFNO），在各种下游任务中，我们的方法明显优于现有方法。
Dec, 2023
本文介绍了连续深度图神经网络 (GNN) 的框架，将图神经常微分方程 (GDEs) 形式化为 GNN 的对应物，其输入输出关系由一系列 GNN 层的连续融合离散拓扑结构和微分方程来决定，证明了其兼容各种静态和自回归 GNN 模型。结果表明 GDEs 在静态设置中通过在前向传递中将数值方法纳入其中提供了计算优势，在动态设置中，通过利用潜在动态的几何结构性能得到了提高。
Nov, 2019
本文提出了一种名为 TDE-GNN 的模型，它可以捕捉超过典型的一阶或二阶方法的各种时间动力学，并提供了现有时间模型难以处理的用例。通过在几个图形基准上学习时间依赖性，我们证明了使用我们的方法学习时间依赖性而不是使用预定义时间动态的好处。
Jan, 2024
介绍了一种新型的连续深度神经网络，名为 “神经分段常数时滞微分方程”，其中利用了信息多点的贡献，提高了模型的能力，并在 MNIST、CIFAR10 和 SVHN 等真实数据集上优于多种现有的连续深度神经网络框架。
Jan, 2022
提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。
Jun, 2018