ICMLMay, 2024

保持势能：欧几里得梯度流之外的守恒定律

PDF
TL;DR本文研究了非欧几里德几何和基于动量的动力学中的守恒定律及其存在与原则，发现与梯度流情况不同，动量动力学中的守恒定律具有时间依赖性，转换为动量动力学时常常观察到守恒损失现象，线性网络中所有的动量守恒定律（数量小于梯度流情况）可以被确定，而 ReLU 网络中不存在守恒定律，这种现象也存在于用于非负矩阵分解（NMF）的非欧几里德度量中。
conservation lawseuclidean gradient flow dynamicsmomentum-based dynamicslinear networksrelu networks
发现论文，激发创造
  • 遵守法律，跟随流程：梯度流的保守定律

    文章旨在通过在 Jacobin 生成的 Lie 代数上进行有限维代数操作，揭示守恒定律的定义，性质和数量，该定律是在任何训练数据和任何损失函数的情况下保留给定模型的梯度流期间独立数量的最大集合。

    Jun, 2023

  • 神经力学：深度学习动态中的对称性和破缺守恒定律

    通过内在对称性的理论框架，使用有限差分法实现了在实践中使用的有限学习率的精确积分表达式来描述在任何数据集上通过深度学习训练出的当代网络体系结构的各种参数组合的学习动力学。

    Dec, 2020

  • 拉格朗日流动网络与守恒定律

    通过可微分可逆映射将基本密度进行时态变换来建模流体密度，使得该模型始终满足连续性方程，无需昂贵的数值求解器，最终还应用在鸟类迁徙模拟中。

    May, 2023

  • 利用自动编码的守恒定律发挥神经算子的能力

    神经算子是在科学机器学习中对复杂物理系统建模的有效工具，而保守定律编码的神经算子则通过自动满足保守定律来提高学习效果，特别是在小数据情况下。

    Dec, 2023

  • 偏强凸性条件下 Nesterov 动量法加速深度神经网络的收敛

    本文提出一类新的目标函数，其中只有参数的一个子集满足强凸性，并证明 Nesterov 的动量在这个目标类上实现了加速收敛，其中包括用于深度 ReLU 网络的两种实现方法，这是第一篇证明非平凡神经网络结构加速收敛率的论文。

    Jun, 2023

  • 双层神经网络中二阶动态的全局收敛性

    通过 Lyapunov 法证明了在 momentum 策略下的 fully connected neural networks 的 heavy ball method 对应的二阶梯度下降算法在平均场极限下收敛于全局最优解。

    Jul, 2020

  • Hamiltonian 神经网络

    本研究利用 Hamilton 力学来为神经网络提供更好的归纳偏差，使其能够在自我监督的状态下学习并遵守物理中的守恒定律；研究表明我们的模型在能量守恒等问题上具有更快的训练速度和更好的泛化性能，并且是一个完全可逆的时间模型。

    Jun, 2019

  • 机器学习非保守动力学用于新物理探测

    本论文提出了一种基于数据的新物理发现方法，使用神经新物理探测器（NNPhD）分解力场，将其表示为拉格朗日神经网络（LNN）和通用近似器网络（UAN），成功在玩具数值实验中发现了新物理，并演示了 NNPhD 如何与积分器结合，优于以前预测阻尼双摆未来的方法。

    May, 2021

  • 对称性，平坦极小值，以及梯度流守恒量

    通过使用激活函数的同变性并将其推广到非线性神经网络，找到了一些全局最小值的低误差谷，该方法可以提高鲁棒性，并提供了有关初始化影响的见解。

    Oct, 2022

  • 拉格朗日神经网络

    本文提出了一种使用神经网络来参数化任意 Lagrangian 的 Lagrangian 神经网络（LNNs），该方法不需要标准坐标，因此可适用于标准动量未知或难以计算的情况，并且在各种任务中产生遵守能量守恒条件的模型，通过在双摆和相对论粒子上的测试表明，该方法可用于建模且不会损耗能量，还可以应用于图形和连续系统，并证明其用于一维波动方程。

    Mar, 2020