本文研究了非欧几里德几何和基于动量的动力学中的守恒定律及其存在与原则，发现与梯度流情况不同，动量动力学中的守恒定律具有时间依赖性，转换为动量动力学时常常观察到守恒损失现象，线性网络中所有的动量守恒定律（数量小于梯度流情况）可以被确定，而 ReLU 网络中不存在守恒定律，这种现象也存在于用于非负矩阵分解（NMF）的非欧几里德度量中。

May, 2024

通过内在对称性的理论框架，使用有限差分法实现了在实践中使用的有限学习率的精确积分表达式来描述在任何数据集上通过深度学习训练出的当代网络体系结构的各种参数组合的学习动力学。

Dec, 2020

通过使用激活函数的同变性并将其推广到非线性神经网络，找到了一些全局最小值的低误差谷，该方法可以提高鲁棒性，并提供了有关初始化影响的见解。

Oct, 2022

神经算子是在科学机器学习中对复杂物理系统建模的有效工具，而保守定律编码的神经算子则通过自动满足保守定律来提高学习效果，特别是在小数据情况下。

Dec, 2023

研究了深线性网络的学习动态，发现梯度下降的内在偏差与节俭的解决方案有关，特别地，当数据具有低维结构时，只在每个权重矩阵的一个小不变子空间内进行学习，从而提高了效率和理解深度学习。

Jun, 2023

本文提出了一种潜在动态学习的方法，该方法通过深度卷积自编码器计算高维动力系统状态的低维嵌入，并定义了一个低维的非线性流形使站在其上的状态被要求进行演化，在此基础上定义了潜在动力学模型，该模型的目标函数为有限体离散化中控制体内守恒定律违规平方和加上非线性等式约束，该模型能确保在预定子域上时间演化的潜在状态严格满足守恒定律。

Sep, 2019

本文通过对梯度下降训练的神经网络的优化轨迹进行研究，展示了学习轨迹可以用大训练时间的显式渐近特征描述。

May, 2021

研究了线性神经网络训练中渐进流（即用无穷小步长的梯度下降法）的隐含偏差；提出了神经网络的张量形式，包括全连接、对角线和卷积网络等特例，并研究了称为线性张量网络的公式的线性版本。通过这个公式，我们可以将网络的收敛方向表征为由网络定义的张量的奇异向量。

Oct, 2020

自然梯度下降是一种具有鲁棒训练行为的优化算法，与网络重新参数化具有不变性，通过从流形上的微分同胚群到该状态空间的切空间的函子确定优化器的状态空间，这种算法在训练网络时具有更高的效率。

Dec, 2023

本研究通过分析深度神经网络的梯度下降技术实现，提出了控制网络复杂度的隐含规范化方法，并将其归纳为梯度下降算法的内在偏差，说明这种方法可以解决深度学习中过拟合的问题。

Mar, 2019