本文探讨了随机梯度下降在神经网络早期训练阶段中的超参数，指出通过在初期采用大学习率可以减小梯度的方差和提高梯度的协方差矩阵的条件数，在超过 “盈亏平衡点” 之后，通过随机梯度下降法优化可以隐式地正则化损失曲面的曲率以及梯度中的噪声等问题，这对于神经网络的优化效果具有积极作用，研究这些影响对于泛化性能的影响是一个有前途的研究方向。

Feb, 2020

研究表明，神经网络在过参数化区域存在相变点，且能够拟合随机数据的能力与深度无关，该相变点附近的损失函数具有层次结构且学习动态容易出现雪崩样的变化，可能导致学习的数据模式产生突变。

Sep, 2018

本文提出了一种基于端口哈密顿形式的神经网络模型用于学习非自主系统中的动态学，能够高效地恢复非线性物理系统的动力学，时间依赖力和耗散系数，并能够学习和预测混沌系统，如 Duffing 方程。

Jul, 2021

我们通过分析神经网络中优化轨迹中包含的参数丰富结构，提出了一种全新的理解机制的方法。我们引入一些关于优化轨迹复杂性的自然概念，同时定性和定量地揭示了动量、权重衰减和批处理大小等各种优化选择之间的内在细微差别和相互作用。对于深度神经网络中优化的本质，当它进行得顺利时以及当它陷入瓶颈时，我们利用这些概念提供了关键特点。此外，得益于我们对优化轨迹的观点，我们发现动量和权重衰减之间存在相互交织的行为，促进了方向探索，并且其他一些行为则具有方向性的规范化行为。我们通过在大规模视觉和语言环境下进行实验证明了我们方法的价值，包括具有多达 120 亿参数的大型语言模型。

Mar, 2024

本文研究了全连接前馈神经网络的非凸损失函数与球形自旋玻璃模型哈密顿量之间的联系，并通过随机矩阵理论的结果来解释网络的复杂性和局部极小值的位置分布，利用计算机模拟和数学模型对结果进行了验证和验证。

Nov, 2014

本文介绍了用于解决许多深度学习模型中的问题的 Symplectic Gradient Adjustment (SGA) 算法，并提出了 Hamiltonian game 概念，使得 SGA 算法具有一定的保证，并在 GANs 等更广泛的游戏中表现出着和其他算法竞争力相当的性能。

Feb, 2018

本文探讨了时下最先进神经网络的损失函数，以及常用随机梯度下降变体如何优化这些损失函数，探讨中发现每个优化算法在鞍点处会做出不同的选择，从而得出每个算法在鞍点处的特征选择假设。

Dec, 2016

本研究通过分析神经网络与算法优化之间的关系，探讨了近期许多工作都关注的神经网络损失动态问题，证明了在 ReLU 激活函数下，NAG 算法可能只是以次线性的速度达到全局最小值，结果表明优化非凸性损失函数实际是在对预测误差进行优化最优化问题。

Oct, 2020

研究物理启发的神经网络的诱导偏差及其应用。表明与常规认识相反，通过直接建模加速度避免人工坐标系的人工复杂性，而不是辛结构或能量守恒，改善了 HNN 的广义性能。在实际中，通过放松这些模型的诱导偏差，可以在能量守恒系统上匹配或超过其性能，同时显著提高非守恒系统上的性能。作者将这种方法扩展到通用 Mujoco 环境的转换模型构建中，展示了我们的模型可以适当地平衡诱导偏差与需求灵活性，从而实现基于模型的控制。

Feb, 2022

本研究利用 Hamilton 力学来为神经网络提供更好的归纳偏差，使其能够在自我监督的状态下学习并遵守物理中的守恒定律；研究表明我们的模型在能量守恒等问题上具有更快的训练速度和更好的泛化性能，并且是一个完全可逆的时间模型。

Jun, 2019