神经分段常数时滞微分方程
该研究提出一种新的带延迟的连续深度神经网络模型 —— 神经延迟微分方程(NDDEs),使用伴随灵敏度方法计算相应的梯度,并通过多个案例证明其在模拟复杂模型和实际图像数据集方面具有较优的表现,这表明将动态系统因素引入网络设计有助于提高网络性能。
Feb, 2021
本文介绍了一种名为 Neural Delay Differential Equations(NDDE)的连续深度神经网络,使用输入的延迟动态学方程计算相应的梯度,并用数个实际案例展示了 NDDE 比传统模型具有更强的非线性表达能力和性能表现的优势。
Apr, 2023
本论文在神经延迟微分方程(Neural DDE)的基础上,提出了一种新的神经状态依赖延迟微分方程(SDDDE)的框架,该方法能更好地适用于包含多个状态依赖延迟的复杂系统,并在多种延迟动态系统的数据上显示了较高的性能。
Jun, 2023
本研究将学习规则和神经 ODE 相结合,构建了连续时间序列处理网络,学习如何在其他网络的快速变化的突触连接中操作短期记忆,这产生了快速权重程序员和线性变压器的连续时间对应物。该模型在各种时间序列分类任务中优于现有的神经控制微分方程模型,同时也解决了它们的根本可扩展性限制。
Jun, 2022
神经常微分方程(Neural ODEs)在深度学习文献中取得了巨大成功,最近提出了连续版本的 U-net 架构,在图像应用中显示出比离散版本更高的性能,并围绕其性能和鲁棒性提供了理论保证。本文探讨了使用神经 ODE 解决学习逆问题的可能性,尤其是在已知的学习 Primal Dual 算法中,并将其应用于 CT 重建。
May, 2024
本文提出神经控制微分方程 (Neural CDE) 用于解释不规则时间序列的函数,同时研究了在连续监测过程中,如何解决实时在线预测的问题,本文提出的插值方案具有测量性和平滑性,并在 MIMIC-IV 医疗数据库上进行了实证测试,对于三个连续监测任务的准确性均有提升。
Jun, 2021
提出一种新型深度神经网络模型 —— 连续深度模型,其采用了一个神经网络来参数化隐藏状态的导数,并利用黑箱微分方程求解器计算网络输出,使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型,能够通过最大似然进行训练,而不需要对数据维度进行分区或排序,并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播,从而实现 ODE 的端到端训练。
Jun, 2018
本文介绍了一种基于延迟微分方程(DDE)的连续时间神经网络方法,使用伴随灵敏度方法从数据中直接学习模型参数和延迟。该方法可以学习 DDE 参数,表现出良好的敏感性分析能力,并涉及到机器学习、动力系统学和神经网络等领域。
Apr, 2023