Dec, 2023

通过可分离性优化神经 ODE 的分类

PDF
TL;DR在这项研究中，我们提出了一种基于神经常微分方程（neural ODEs）的分类方法，通过考察单个隐藏层中每个神经元用于实现任务所需的数量，特别是当数据点在单位正方形中独立均匀分布时。我们的分析提供了一种量化少于 O (N) 个神经元所需概率的新方法，并强调了当维度 d 和数据点数目 N 增加时的渐近行为。此外，在数据点满足一般位置假设的情况下，我们提出了一种同时对 d 个数据点聚类的新算法，将最大复杂度有效降低为 O (N/d) 个神经元。
classificationneural ordinary differential equationsefficient cluster-based classificationprobabilityconstructive algorithm
发现论文，激发创造
  • 神经 ODE 控制用于分类、逼近和传输

    从控制理论角度分析神经常微分方程（NODEs），研究其在数据分类和通用逼近等深度学习范式中的应用，提出了同时控制 NODE 系统的方法以及建立了深度神经网络和最优输运之间的联系。

    Apr, 2021

  • 通过神经微分方程进行分布学习：一种非参数统计的观点

    用普通微分方程（ODE）模型通过似然最大化进行训练的分布学习的非参数统计收敛分析是首次建立的，将速度场类和目标密度的相关收敛率以及对神经网络的影响纳入考虑。

    Sep, 2023

  • 神经 ODE 的高效认证训练与鲁棒性检验

    提出了一种名为 GAINS 的分析框架，它结合了三个关键思想，基于变量但离散时间步的 ODE 解算器、求解器轨迹的高效图形表示和一种基于该图形表示的新颖抽象算法，可以有效分析高维 NODEs 和提供保证，并将运行时从指数级降至线性对数阶，通过在计算机视觉和时间序列预测问题上的大量评估，证明了该方法的有效性。

    Mar, 2023

  • 神经常微分方程

    提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。

    Jun, 2018

  • 一般神经普通微分方程的可达性分析

    本文提出了一种新的可达性框架 ——NNVODE，以便于对具有不同体系结构和层数的神经普通微分方程进行形式化分析，并通过一组基准测试，包括用于分类和控制动力系统的神经 ODE，以及与连续时间系统可达性文献中现有软件工具的效力和能力的比较，证明了其能力和有效性。

    Jul, 2022

  • 用神经微分方程学习神经网络连续学习规则的编程

    本研究将学习规则和神经 ODE 相结合，构建了连续时间序列处理网络，学习如何在其他网络的快速变化的突触连接中操作短期记忆，这产生了快速权重程序员和线性变压器的连续时间对应物。该模型在各种时间序列分类任务中优于现有的神经控制微分方程模型，同时也解决了它们的根本可扩展性限制。

    Jun, 2022

  • 神经常微分方程中的不确定性和结构

    本研究使用贝叶斯深度学习技术将轻量级机器学习方法应用于神经常微分方程以获得结构化和有意义的不确定性量化，研究了机械知识和不确定性量化在两种神经常微分方程框架下的相互作用 - 辛神经常微分方程和神经常微分方程物理模型的补充，证明了方法在低维 ODE 问题和高维偏微分方程上的有效性。

    May, 2023

  • 连续学习的原始对偶算法

    神经常微分方程（Neural ODEs）在深度学习文献中取得了巨大成功，最近提出了连续版本的 U-net 架构，在图像应用中显示出比离散版本更高的性能，并围绕其性能和鲁棒性提供了理论保证。本文探讨了使用神经 ODE 解决学习逆问题的可能性，尤其是在已知的学习 Primal Dual 算法中，并将其应用于 CT 重建。

    May, 2024

  • 分解神经常微分方程

    本文通过进一步开发连续深度神经微分方程模型，以期澄清几种设计选择对其底层动态的影响，进而解密其内部运作方式。

    Feb, 2020

  • 神经常微分方程作为非线性最优控制的反馈策略

    本文提出了基于神经常微分方程（Neural ODEs）的神经控制策略，将控制策略优化问题转化为一个 Neural ODE 问题，有效地利用动态系统模型，展示了这种确定性神经控制策略在两个受控系统中的功效：控制的 Van der Pol 系统和一个生物反应器控制问题。该方法为非线性控制问题的无法处理的闭环解提供了一种实用的逼近方法。

    Oct, 2022