May, 2023

流形上的学习：利用几何可控条件的神经 ODE 通用逼近性质

PDF
TL;DR本文研究了一类神经常微分方程，通过设计这类方程在光滑流形上，使其可以应用于机械系统等领域中。作者利用控制可比性的性质来表征了这类方程的特性，并且使用 PyTorch 对动力系统的几何模型 S2 和三维正交群 SO (3) 进行了数值实验，验证了其优于常规神经常微分方程的性能。
发现论文，激发创造
  • 流形上的神经常微分方程

    本研究探讨如何使用向量场在光滑流形上进行参数化，以及如何进行梯度学习来实现基于神经 ODE 的流规范化方法。

    Jun, 2020

  • 神经流形常微分方程

    本文提出了一种称为神经流动流形的新型生成模型，可以更好地适应数据几何，增加了模型的通用性和表达能力并提高了密度估计和下游任务的效果。

    Jun, 2020

  • 等变流形神经 ODE 和微分不变量

    本文提出了一种几何学框架，用于分析基于 Lie 群的多样性流形神经常微分方程（NODEs）对对称数据的建模能力，并提出了用于对称性概率场中的通用型等效 NODEs.。

    Jan, 2024

  • 深度神经网络、通用的普遍插值和可控制的 ODE

    通过离散化有控制的常微分方程（也称为神经常微分方程）以及一些连接性，我们研究表达性质并展示了通用差错的普适插值性质（比通用逼近性质稍弱），并探究最少参数个数在保证表达能力的情况下的取值。

    Aug, 2019

  • 从数据学习流形快速可靠的最短路径

    我们提出了一种快速、简单、健壮的算法，用于计算从数据中学习的黎曼流形上的最短路径和距离。该算法利用常微分方程组（ODE）求解，通过固定点迭代方案来提高求解器的稳定性和降低计算成本。在黎曼度量学习和深度生成模型的实验中，我们证明了该算法相比于最先进的通用求解器和专用求解器在速度和稳定性方面的重大改进。

    Jan, 2019

  • 通过神经微分方程进行分布学习：一种非参数统计的观点

    用普通微分方程（ODE）模型通过似然最大化进行训练的分布学习的非参数统计收敛分析是首次建立的，将速度场类和目标密度的相关收敛率以及对神经网络的影响纳入考虑。

    Sep, 2023

  • 神经常微分方程作为非线性最优控制的反馈策略

    本文提出了基于神经常微分方程（Neural ODEs）的神经控制策略，将控制策略优化问题转化为一个 Neural ODE 问题，有效地利用动态系统模型，展示了这种确定性神经控制策略在两个受控系统中的功效：控制的 Van der Pol 系统和一个生物反应器控制问题。该方法为非线性控制问题的无法处理的闭环解提供了一种实用的逼近方法。

    Oct, 2022

  • 流形增强的伊可纳方程：不同 iable 流形上的测地距离和流动

    机器学习模型发现的流形提供了底层数据的紧凑表示。这项工作提出了一种基于模型的距离场和流形上的测地线流的参数化方法，利用流形增强 Eikonal 方程的解。我们展示了流形的几何对距离场的影响，并利用测地线流直接获得全局长度最小曲线。这项工作为可微流形上的统计和降阶建模开辟了机会。

    Oct, 2023

  • 神经网络在流形假设下学习的困难性

    通过对流形假设的研究，我们发现神经网络的可学习性与流形的曲率、正则性以及数据流形的体积之间存在紧密的关联；流形的有限曲率限制了学习问题的可解性，而数据流形的体积增加则会提高网络的可学习性。此外，我们还探讨了在真实世界数据中常见的具有异质特征的中间流形区域的情况。

    Jun, 2024

  • 神经 ODE 控制用于分类、逼近和传输

    从控制理论角度分析神经常微分方程（NODEs），研究其在数据分类和通用逼近等深度学习范式中的应用，提出了同时控制 NODE 系统的方法以及建立了深度神经网络和最优输运之间的联系。

    Apr, 2021