Jun, 2022

用神经微分方程学习神经网络连续学习规则的编程

PDF
TL;DR本研究将学习规则和神经 ODE 相结合，构建了连续时间序列处理网络，学习如何在其他网络的快速变化的突触连接中操作短期记忆，这产生了快速权重程序员和线性变压器的连续时间对应物。该模型在各种时间序列分类任务中优于现有的神经控制微分方程模型，同时也解决了它们的根本可扩展性限制。
neural ordinary differential equationscontinuous-time sequence processinglearning rulesfast weight programmerlinear transformers
发现论文，激发创造
  • 连续时间深度学习的微分方程

    本短文自给自足地介绍和调查了基于神经常微分方程（神经 ODE）的连续时间深度学习方法，主要面向熟悉普通微分方程和偏微分方程及其分析的读者，意在揭示它们在机器学习中的作用。通过使用机器学习和应用数学领域的三个示例，我们将看到神经 ODE 如何提供深度学习的新见解，并为更高效的算法打下基础。

    Jan, 2024

  • 连续学习的原始对偶算法

    神经常微分方程（Neural ODEs）在深度学习文献中取得了巨大成功，最近提出了连续版本的 U-net 架构，在图像应用中显示出比离散版本更高的性能，并围绕其性能和鲁棒性提供了理论保证。本文探讨了使用神经 ODE 解决学习逆问题的可能性，尤其是在已知的学习 Primal Dual 算法中，并将其应用于 CT 重建。

    May, 2024

  • 神经常微分方程

    提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。

    Jun, 2018

  • 基于神经常微分方程的循环神经网络模型

    该研究论文介绍了一种使用 ODE 的时间序列数据分析方法，提出基于 ODE 的 RNN 模型，可在较短的训练时间内学习具有不规则采样率的连续时间序列，并且计算效率更高、精度更高、设计更简单。

    May, 2020

  • 分解神经常微分方程

    本文通过进一步开发连续深度神经微分方程模型，以期澄清几种设计选择对其底层动态的影响，进而解密其内部运作方式。

    Feb, 2020

  • 神经常微分方程作为非线性最优控制的反馈策略

    本文提出了基于神经常微分方程（Neural ODEs）的神经控制策略，将控制策略优化问题转化为一个 Neural ODE 问题，有效地利用动态系统模型，展示了这种确定性神经控制策略在两个受控系统中的功效：控制的 Van der Pol 系统和一个生物反应器控制问题。该方法为非线性控制问题的无法处理的闭环解提供了一种实用的逼近方法。

    Oct, 2022

  • 记忆神经微分方程及正交多项式投影

    本研究提出了 PolyODE，一种基于正交多项式投影的神经常微分方程模型，用于学习动态系统，以实现长期记忆和整体表示，优于先前的模型在数据重建和下游预测任务中的性能。

    Mar, 2023

  • 深度残差网络对神经常微分方程的隐式正则化

    深度残差网络与神经常微分方程之间的离散化联系被建立，证明了在特定条件下网络收敛至全局最小值。

    Sep, 2023

  • 神经 Laplace：在 Laplace 域中学习不同类别的微分方程

    提出了一种名为 Neural Laplace 的框架，它使用 Laplace 域来建模系统的动态，并能学习各种微分方程类，包括延迟微分方程和积分微分方程，能够更稳健地建模粘性微分方程和具有分段强制函数的微分方程。在实验中，证明其在建模和外推各种微分方程的轨迹方面都能比较好的工作。

    Jun, 2022

  • 用于非规则时间序列的神经控制微分方程

    本研究介绍了一个新的神经模型：神经控制微分方程模型，解决了利用常规微分方程对时间动态进行建模时无法针对后续观察调整轨迹的问题，并通过实验和理论结果展示其在较多数据集上实现了与其他神经网络模型相当的最佳性能

    May, 2020