KDDMay, 2021

ACE-NODE: 关注协同演化神经常微分方程

PDF
TL;DR本研究提出了一种新的方法：关注对偶共同进化节点 (ACE-NODE)，它是由两个节点构成的，其中一个为下游的机器学习任务提供注意力，另一个为主要节点提供注意力，支持成对注意力和元素注意力。在实验中，我们的方法在几乎所有情况下均以非微不足道的优势优于现有的基于 NODE 和非 NODE 的基线。
neural ordinary differential equationscontinuous-time neural networksattentionco-evolvingmachine learning
发现论文，激发创造
  • 神经 ODE 的高效认证训练与鲁棒性检验

    提出了一种名为 GAINS 的分析框架，它结合了三个关键思想，基于变量但离散时间步的 ODE 解算器、求解器轨迹的高效图形表示和一种基于该图形表示的新颖抽象算法，可以有效分析高维 NODEs 和提供保证，并将运行时从指数级降至线性对数阶，通过在计算机视觉和时间序列预测问题上的大量评估，证明了该方法的有效性。

    Mar, 2023

  • Ortho-ODE: 增强神经 ODE 对抗攻击的鲁棒性

    该论文探讨神经常微分方程（NODEs）的自然鲁棒性，通过控制 ODE 动力学的 Lipschitz 常数可以显著提高神经网络的鲁棒性，证明 Grownwall 不等式可以被应用到深度学习中。同时验证了 NODEs 对噪声与对抗性攻击的鲁棒性，并实验了自适应和非自适应求解器对节点鲁棒性的影响。

    May, 2023

  • 神经时滞微分方程

    该研究提出一种新的带延迟的连续深度神经网络模型 —— 神经延迟微分方程（NDDEs），使用伴随灵敏度方法计算相应的梯度，并通过多个案例证明其在模拟复杂模型和实际图像数据集方面具有较优的表现，这表明将动态系统因素引入网络设计有助于提高网络性能。

    Feb, 2021

  • 操作员学习启发的神经常微分方程建模

    神经常微分方程（NODEs）是基于常微分方程的深度学习中最具影响力的作品之一，它不断推广残差网络，并开创了一个新领域。本文提出了一种基于神经算子的方法来定义时间导数术语，称为分支傅里叶神经算子（BFNO），在各种下游任务中，我们的方法明显优于现有方法。

    Dec, 2023

  • 神经常微分方程的鲁棒性和不确定性建模改进

    本文提出一种新的方法，通过考虑 ODE 求解器的终止时间 T 上的分布来模型化神经 ODE 中的不确定性，采用贝叶斯学习从数据中获得 T 的后验分布，从而实现模型选择的自动化，并用 ALT-NODE 模型来使每个数据点有自己独特的 T 的后验分布，多个后验样本的 NODE 表示可以有效预测，通过实验在合成数据和现实世界图像分类数据取得了较好的效果。

    Dec, 2021

  • 潜时间神经常微分方程

    本文提出了一种独特的方法，通过考虑 ODE 求解器的结束时间 T 的分布来模拟 NODE 中的不确定性，从而提高了 NODE 模型的鲁棒性和不确定性建模能力，并提出了自适应的潜在时间 NODE (ALT-NODE)。

    Dec, 2021

  • 神经时滞微分方程：系统重构与图像分类

    本文介绍了一种名为 Neural Delay Differential Equations（NDDE）的连续深度神经网络，使用输入的延迟动态学方程计算相应的梯度，并用数个实际案例展示了 NDDE 比传统模型具有更强的非线性表达能力和性能表现的优势。

    Apr, 2023

  • Taylor-Lagrange 神经常微分方程：迈向快速训练和评估神经 ODE

    提出了一种数据驱动的积分方法，称为 Taylor-Lagrange NODEs (TL-NODEs)，它使用定阶 Taylor 扩展进行数值积分，同时学习估计扩展的近似误差，从而在保持准确性的前提下，仅使用低阶 Taylor 扩展，大大降低了计算成本。一系列数值实验表明，TL-NODEs 比现有方法快一个数量级以上，性能也不会降低。

    Jan, 2022

  • 神经 ODE 控制用于分类、逼近和传输

    从控制理论角度分析神经常微分方程（NODEs），研究其在数据分类和通用逼近等深度学习范式中的应用，提出了同时控制 NODE 系统的方法以及建立了深度神经网络和最优输运之间的联系。

    Apr, 2021

  • 关于增广神经 ODE 的二阶行为

    本文研究了二阶神经常微分方程，提出了一种新的优化算法，并比较了此模型与增广模型在模拟物理系统时的性能。

    Jun, 2020