MMApr, 2023

利用神经时滞微分方程进行时滞学习

PDF
TL;DR本文介绍了一种基于延迟微分方程（DDE）的连续时间神经网络方法，使用伴随灵敏度方法从数据中直接学习模型参数和延迟。该方法可以学习 DDE 参数，表现出良好的敏感性分析能力，并涉及到机器学习、动力系统学和神经网络等领域。
发现论文，激发创造
  • 神经时滞微分方程

    该研究提出一种新的带延迟的连续深度神经网络模型 —— 神经延迟微分方程（NDDEs），使用伴随灵敏度方法计算相应的梯度，并通过多个案例证明其在模拟复杂模型和实际图像数据集方面具有较优的表现，这表明将动态系统因素引入网络设计有助于提高网络性能。

    Feb, 2021

  • 神经时滞微分方程：系统重构与图像分类

    本文介绍了一种名为 Neural Delay Differential Equations（NDDE）的连续深度神经网络，使用输入的延迟动态学方程计算相应的梯度，并用数个实际案例展示了 NDDE 比传统模型具有更强的非线性表达能力和性能表现的优势。

    Apr, 2023

  • 延迟微分神经网络

    本文介绍了基于延迟微分方程（DDEs）的一种新型模型延迟微分神经网络（DDNN），其包括两种不同的架构。通过提供一种内存高效的方法计算梯度并反向传播至网络中，DDNN 显著减少了一些最近 ResNet 变体的参数数量并提高了图像分类数据集，例如 Cifar10 和 Cifar100 的效果。

    Dec, 2020

  • 神经状态相关时滞微分方程

    本论文在神经延迟微分方程（Neural DDE）的基础上，提出了一种新的神经状态依赖延迟微分方程（SDDDE）的框架，该方法能更好地适用于包含多个状态依赖延迟的复杂系统，并在多种延迟动态系统的数据上显示了较高的性能。

    Jun, 2023

  • DDE-Find: 从数据中学习延迟微分方程

    DDE-Find 是一个数据驱动的框架，通过使用基于伴随法的方法来高效计算损失函数相对于模型参数的梯度，实现了从嘈杂且有限数据中学习 DDE 的首个完整框架。

    May, 2024

  • 操作员学习启发的神经常微分方程建模

    神经常微分方程（NODEs）是基于常微分方程的深度学习中最具影响力的作品之一，它不断推广残差网络，并开创了一个新领域。本文提出了一种基于神经算子的方法来定义时间导数术语，称为分支傅里叶神经算子（BFNO），在各种下游任务中，我们的方法明显优于现有方法。

    Dec, 2023

  • 神经微分方程

    神经微分方程是深度学习和动力系统相结合的一个研究领域，可用于解决生成式问题、动力系统和时间序列。本文提供了这个领域的深入调查，并涵盖了神经微分方程的多种类型及其相关的数值方法和符号回归。

    Feb, 2022

  • 神经分段常数时滞微分方程

    介绍了一种新型的连续深度神经网络，名为 “神经分段常数时滞微分方程”，其中利用了信息多点的贡献，提高了模型的能力，并在 MNIST、CIFAR10 和 SVHN 等真实数据集上优于多种现有的连续深度神经网络框架。

    Jan, 2022

  • Taylor-Lagrange 神经常微分方程：迈向快速训练和评估神经 ODE

    提出了一种数据驱动的积分方法，称为 Taylor-Lagrange NODEs (TL-NODEs)，它使用定阶 Taylor 扩展进行数值积分，同时学习估计扩展的近似误差，从而在保持准确性的前提下，仅使用低阶 Taylor 扩展，大大降低了计算成本。一系列数值实验表明，TL-NODEs 比现有方法快一个数量级以上，性能也不会降低。

    Jan, 2022

  • NeuPDE: 基于神经网络的常微分方程和偏微分方程模型，用于建模时变数据

    使用神经网络和偏微分方程提取动态数据中的模型，参数化模型来结合空时样本相关性，在 MNIST 和 Fashion MNIST 上与其他深度神经网络进行了比较，证明本方法能够降低参数成本。

    Aug, 2019