Apr, 2023

非约束耗散和收缩神经常微分方程的参数化

PDF
TL;DR该论文介绍了一种使用神经常微分方程与循环平衡网络相结合的连续时间深度神经网络，该网络在不受限制的参数化情况下拥有可收缩和可耗散性，且可以处理非规则采样数据，用于非线性系统识别。
发现论文，激发创造
  • 神经常微分方程

    提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。

    Jun, 2018

  • 深度残差网络对神经常微分方程的隐式正则化

    深度残差网络与神经常微分方程之间的离散化联系被建立，证明了在特定条件下网络收敛至全局最小值。

    Sep, 2023

  • 神经常微分方程和深度残差网络的泛化界

    本文研究基于连续时间参数的 ODE 类模型及其泛化界限，并探讨其与深度残差网络的类比关系，说明权重矩阵之间的差异对于神经网络的泛化能力有何影响。

    May, 2023

  • 神经常微分方程的鲁棒性

    通过实验和理论探讨，研究了神经常微分方程（ODEs）模型的鲁棒性。发现相比传统的卷积神经网络（CNNs），ODE 网络更加稳健，并提出一种新的时间不变稳态神经 ODE 方法（TisODE）来进一步提高鲁棒性。

    Oct, 2019

  • 分解神经常微分方程

    本文通过进一步开发连续深度神经微分方程模型，以期澄清几种设计选择对其底层动态的影响，进而解密其内部运作方式。

    Feb, 2020

  • Ortho-ODE: 增强神经 ODE 对抗攻击的鲁棒性

    该论文探讨神经常微分方程（NODEs）的自然鲁棒性，通过控制 ODE 动力学的 Lipschitz 常数可以显著提高神经网络的鲁棒性，证明 Grownwall 不等式可以被应用到深度学习中。同时验证了 NODEs 对噪声与对抗性攻击的鲁棒性，并实验了自适应和非自适应求解器对节点鲁棒性的影响。

    May, 2023

  • 基于神经常微分方程的循环神经网络模型

    该研究论文介绍了一种使用 ODE 的时间序列数据分析方法，提出基于 ODE 的 RNN 模型，可在较短的训练时间内学习具有不规则采样率的连续时间序列，并且计算效率更高、精度更高、设计更简单。

    May, 2020

  • 连续学习的原始对偶算法

    神经常微分方程（Neural ODEs）在深度学习文献中取得了巨大成功，最近提出了连续版本的 U-net 架构，在图像应用中显示出比离散版本更高的性能，并围绕其性能和鲁棒性提供了理论保证。本文探讨了使用神经 ODE 解决学习逆问题的可能性，尤其是在已知的学习 Primal Dual 算法中，并将其应用于 CT 重建。

    May, 2024

  • 用神经微分方程学习神经网络连续学习规则的编程

    本研究将学习规则和神经 ODE 相结合，构建了连续时间序列处理网络，学习如何在其他网络的快速变化的突触连接中操作短期记忆，这产生了快速权重程序员和线性变压器的连续时间对应物。该模型在各种时间序列分类任务中优于现有的神经控制微分方程模型，同时也解决了它们的根本可扩展性限制。

    Jun, 2022

  • 神经微分方程

    神经微分方程是深度学习和动力系统相结合的一个研究领域，可用于解决生成式问题、动力系统和时间序列。本文提供了这个领域的深入调查，并涵盖了神经微分方程的多种类型及其相关的数值方法和符号回归。

    Feb, 2022