Dec, 2023

操作员学习启发的神经常微分方程建模

PDF
TL;DR神经常微分方程（NODEs）是基于常微分方程的深度学习中最具影响力的作品之一，它不断推广残差网络，并开创了一个新领域。本文提出了一种基于神经算子的方法来定义时间导数术语，称为分支傅里叶神经算子（BFNO），在各种下游任务中，我们的方法明显优于现有方法。
neural ordinary differential equationsnodesneural operator-based methodbranched fourier neural operatordownstream tasks
发现论文，激发创造
  • 神经时滞微分方程

    该研究提出一种新的带延迟的连续深度神经网络模型 —— 神经延迟微分方程（NDDEs），使用伴随灵敏度方法计算相应的梯度，并通过多个案例证明其在模拟复杂模型和实际图像数据集方面具有较优的表现，这表明将动态系统因素引入网络设计有助于提高网络性能。

    Feb, 2021

  • 神经时滞微分方程：系统重构与图像分类

    本文介绍了一种名为 Neural Delay Differential Equations（NDDE）的连续深度神经网络，使用输入的延迟动态学方程计算相应的梯度，并用数个实际案例展示了 NDDE 比传统模型具有更强的非线性表达能力和性能表现的优势。

    Apr, 2023

  • 神经常微分方程

    提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。

    Jun, 2018

  • 潜时间神经常微分方程

    本文提出了一种独特的方法，通过考虑 ODE 求解器的结束时间 T 的分布来模拟 NODE 中的不确定性，从而提高了 NODE 模型的鲁棒性和不确定性建模能力，并提出了自适应的潜在时间 NODE (ALT-NODE)。

    Dec, 2021

  • 神经常微分方程的鲁棒性和不确定性建模改进

    本文提出一种新的方法，通过考虑 ODE 求解器的终止时间 T 上的分布来模型化神经 ODE 中的不确定性，采用贝叶斯学习从数据中获得 T 的后验分布，从而实现模型选择的自动化，并用 ALT-NODE 模型来使每个数据点有自己独特的 T 的后验分布，多个后验样本的 NODE 表示可以有效预测，通过实验在合成数据和现实世界图像分类数据取得了较好的效果。

    Dec, 2021

  • 延迟微分神经网络

    本文介绍了基于延迟微分方程（DDEs）的一种新型模型延迟微分神经网络（DDNN），其包括两种不同的架构。通过提供一种内存高效的方法计算梯度并反向传播至网络中，DDNN 显著减少了一些最近 ResNet 变体的参数数量并提高了图像分类数据集，例如 Cifar10 和 Cifar100 的效果。

    Dec, 2020

  • 基于神经常微分方程的循环神经网络模型

    该研究论文介绍了一种使用 ODE 的时间序列数据分析方法，提出基于 ODE 的 RNN 模型，可在较短的训练时间内学习具有不规则采样率的连续时间序列，并且计算效率更高、精度更高、设计更简单。

    May, 2020

  • 神经 ODE 控制用于分类、逼近和传输

    从控制理论角度分析神经常微分方程（NODEs），研究其在数据分类和通用逼近等深度学习范式中的应用，提出了同时控制 NODE 系统的方法以及建立了深度神经网络和最优输运之间的联系。

    Apr, 2021

  • 神经 ODE 过程

    提出了一种新的随机过程 —— 神经 ODE 过程（Neural ODE Processes），用于捕捉低维度和高维度的时间序列系统动力学，并且相较于现有的神经过程模型，该模型具有适应实时应用的能力和更好的不确定性估计。

    Mar, 2021

  • 利用神经时滞微分方程进行时滞学习

    本文介绍了一种基于延迟微分方程（DDE）的连续时间神经网络方法，使用伴随灵敏度方法从数据中直接学习模型参数和延迟。该方法可以学习 DDE 参数，表现出良好的敏感性分析能力，并涉及到机器学习、动力系统学和神经网络等领域。

    Apr, 2023