AAAIJun, 2022

神经积分微分方程

PDF
TL;DR本文介绍了基于 Integro-Differential Equations（IDEs）理论的一种新型深度学习框架：Neural IDE（NIDE），采用神经网络学习积分算子，可对复杂的非局部动态系统进行建模，并应用于多个玩具和大脑活动数据集，验证了其优于其他模型的性能，并可将动态系统分解为马尔可夫和非马尔可夫构成部分。
发现论文，激发创造
  • 深度整合差分方程模型用于时空预测

    本文使用 CNN 模型提取过程动态，并在层次统计 IDE 框架下采用集合卡尔曼过滤器进行概率预测，从而提供了一种现实的、可解释的和计算高效的动态全局先验模型。

    Oct, 2019

  • 神经积分方程

    本文提出了一种名为神经积分方程（NIE）和关注神经积分方程（ANIE）的方法，它们可以学习从数据中获得未知的积分算子并替换为自注意力，从而提高可扩展性和模型容量，这些方法在 ODE、PDE 和 IE 系统的几个基准任务中都比其他方法具有更快的速度和更高的准确度。

    Sep, 2022

  • 神经常微分方程用于干预建模

    该论文提出了一种名为 IMODE 的新型神经 ODE 方法，该方法可以有效地处理具有干预效应的实际系统动态，并通过合成和真实时间序列数据集的实验结果展示 IMODE 相对于现有方法的优越性。

    Oct, 2020

  • 神经微分方程

    神经微分方程是深度学习和动力系统相结合的一个研究领域，可用于解决生成式问题、动力系统和时间序列。本文提供了这个领域的深入调查，并涵盖了神经微分方程的多种类型及其相关的数值方法和符号回归。

    Feb, 2022

  • 神经分数阶微分方程

    本文提出了神经分数阶微分方程（Neural FDE），一个新颖的深度神经网络结构，通过调整微分方程来适应数据的动态，从而在具有记忆或依赖于过去状态的系统建模中可能优于神经常微分方程（Neural ODE），并且可以有效地应用于学习更复杂的动力系统。

    Mar, 2024

  • 分解神经常微分方程

    本文通过进一步开发连续深度神经微分方程模型，以期澄清几种设计选择对其底层动态的影响，进而解密其内部运作方式。

    Feb, 2020

  • 神经时滞微分方程：系统重构与图像分类

    本文介绍了一种名为 Neural Delay Differential Equations（NDDE）的连续深度神经网络，使用输入的延迟动态学方程计算相应的梯度，并用数个实际案例展示了 NDDE 比传统模型具有更强的非线性表达能力和性能表现的优势。

    Apr, 2023

  • 神经 Laplace：在 Laplace 域中学习不同类别的微分方程

    提出了一种名为 Neural Laplace 的框架，它使用 Laplace 域来建模系统的动态，并能学习各种微分方程类，包括延迟微分方程和积分微分方程，能够更稳健地建模粘性微分方程和具有分段强制函数的微分方程。在实验中，证明其在建模和外推各种微分方程的轨迹方面都能比较好的工作。

    Jun, 2022

  • 连续学习的原始对偶算法

    神经常微分方程（Neural ODEs）在深度学习文献中取得了巨大成功，最近提出了连续版本的 U-net 架构，在图像应用中显示出比离散版本更高的性能，并围绕其性能和鲁棒性提供了理论保证。本文探讨了使用神经 ODE 解决学习逆问题的可能性，尤其是在已知的学习 Primal Dual 算法中，并将其应用于 CT 重建。

    May, 2024

  • 用神经微分方程学习神经网络连续学习规则的编程

    本研究将学习规则和神经 ODE 相结合，构建了连续时间序列处理网络，学习如何在其他网络的快速变化的突触连接中操作短期记忆，这产生了快速权重程序员和线性变压器的连续时间对应物。该模型在各种时间序列分类任务中优于现有的神经控制微分方程模型，同时也解决了它们的根本可扩展性限制。

    Jun, 2022