Jan, 2024

等变流形神经 ODE 和微分不变量

PDF
TL;DR本文提出了一种几何学框架，用于分析基于 Lie 群的多样性流形神经常微分方程（NODEs）对对称数据的建模能力，并提出了用于对称性概率场中的通用型等效 NODEs.。
发现论文，激发创造
  • 流形上的神经常微分方程

    本研究探讨如何使用向量场在光滑流形上进行参数化，以及如何进行梯度学习来实现基于神经 ODE 的流规范化方法。

    Jun, 2020

  • 神经流形常微分方程

    本文提出了一种称为神经流动流形的新型生成模型，可以更好地适应数据几何，增加了模型的通用性和表达能力并提高了密度估计和下游任务的效果。

    Jun, 2020

  • 在黎曼流形上等变传递神经网络的几何洞察

    该研究论文提出了在黎曼流形上进行等变消息传递的几何视角，利用坐标无关的特征场表示黎曼流形上的数值特征，并通过优化特征空间的度量来最优地保留主丛的原始度量，从而得到与向量丛相关的等变扩散过程，进而提出了一种新的等变图神经网络框架，推广了 ACE 和 MACE 框架到黎曼流形上的数据。

    Oct, 2023

  • 流形上的学习：利用几何可控条件的神经 ODE 通用逼近性质

    本文研究了一类神经常微分方程，通过设计这类方程在光滑流形上，使其可以应用于机械系统等领域中。作者利用控制可比性的性质来表征了这类方程的特性，并且使用 PyTorch 对动力系统的几何模型 S2 和三维正交群 SO (3) 进行了数值实验，验证了其优于常规神经常微分方程的性能。

    May, 2023

  • 等变流形流

    本文提出了基于等变流形流的手段，学习任意流形上的对称不变分布，以应对先前机器学习模型所忽略的对称性特征，且在量子场论中应用其学习标准规范密度的效果显著。

    Jul, 2021

  • Ortho-ODE: 增强神经 ODE 对抗攻击的鲁棒性

    该论文探讨神经常微分方程（NODEs）的自然鲁棒性，通过控制 ODE 动力学的 Lipschitz 常数可以显著提高神经网络的鲁棒性，证明 Grownwall 不等式可以被应用到深度学习中。同时验证了 NODEs 对噪声与对抗性攻击的鲁棒性，并实验了自适应和非自适应求解器对节点鲁棒性的影响。

    May, 2023

  • 神经 ODE 的高效认证训练与鲁棒性检验

    提出了一种名为 GAINS 的分析框架，它结合了三个关键思想，基于变量但离散时间步的 ODE 解算器、求解器轨迹的高效图形表示和一种基于该图形表示的新颖抽象算法，可以有效分析高维 NODEs 和提供保证，并将运行时从指数级降至线性对数阶，通过在计算机视觉和时间序列预测问题上的大量评估，证明了该方法的有效性。

    Mar, 2023

  • 基于粒子的流体力学问题的 E ($3$) 等变图神经网络

    采用等变图神经网络比其非等变神经网络在动态交互模型中能够更准确地学习流体力学系统的运动，并发现等变模型可以对湍流流量进行粗粒化建模和参数推广。

    Mar, 2023

  • 流形 GCN: 基于扩散的流形值图卷积神经网络

    基于黎曼流形的图神经网络模型中，我们提出了两个关键的图神经网络层。第一个是扩散层，其基于流形值图扩散方程，适用于任意数量节点和图的连通模式。第二个是切线多层感知机层，借鉴了向量神经元框架的思想，并在一般的情境中应用。这两个层在节点排列和特征流形的等变性方面表现出非常好的性能。在合成数据和海马右侧三角网格对阿尔茨海默病分类的数值实例中，我们的模型均取得了非常好的性能。

    Jan, 2024

  • 对等图神经网络在物理动力学学习中松弛连续约束

    本文提出了一种基于离散等变的图神经网络（DEGNN），通过将几何特征转化为排列不变嵌入，实现相应离散点群的等变消息传递，从而提高对未观测到的对称动力学的表示能力和泛化性能。在各种物理动力学中，DEGNN 相较于现有的方法具有显著的优越性，并可以以较少的数据进行学习，并且可以跨领域进行泛化，如未观测到的方向。

    Jun, 2024