本研究提出了一种使用反馈获得的局部辅助网络实现前向梯度方法的优化方案，能够显著改善标准计算机视觉神经网络中前向梯度方法中由步长难以猜测所需付出的代价。

Jun, 2023

本文提出了一种基于反向传播梯度的神经网络不确定性度量方法，该方法可以有效地检测神经网络模型的不确定性，包括判断模型是否遇到了未知的输入，具有较高的检测准确性。

Aug, 2020

探讨了深度学习中简单梯度方法在寻找接近最优解的非凸优化问题上的出人意料的成功，以及其之所以具有超预期的表现，推断是因为过度参数化可以让梯度方法寻找插值解，这些方法隐含地施加正则化，并且过度参数化导致了良性过拟合等基本原理构成了这个现象，同时摘要了最新的理论进展，重点考虑了神经网络的线性区域。

Mar, 2021

本文提出了一个新的框架来得出能够自动、无需超参数训练全连接和卷积神经网络的一阶优化器：自动梯度下降。该理论为下一代结构相关的优化器提供了严谨的理论基础。

Apr, 2023

本文研究表明，在神经网络中使用 ReLU 激活函数和随机初始化梯度下降法可以以全局线性收敛率收敛于全局最优解，其分析依赖于神经网络的超参数和随机初始化方式，这些经验也可能有助于分析深度网络等其他一阶方法。

Oct, 2018

该研究论文研究了在不同测试环境中无法访问真实测试标签的情况下估计测试准确性的方法，通过使用神经网络的输出或提取特征来建立与真实测试准确性相关的估计分数，实验证明梯度提供的信息可以预测分布变化下的真实测试准确性，并提供了理论方面的洞见。

Jan, 2024

本文通过分析，发现现代的神经网络足以直接用随机梯度下降算法实现庞大的非线性优化任务，并且能够克服局部最优解的困难。

Dec, 2014

本文探讨了使用 LSTMs 将优化算法设计转化为学习问题的方法，其中，通过让算法自动地利用感兴趣的问题中的结构，得出的学习算法在针对特定任务时比手动设计的算法表现更好，同时在具有相似结构的新任务上也具有很好的泛化性能，其应用范围从简单的凸问题，到神经网络训练和图像风格化等多种任务。

Jun, 2016

本文探讨了神经网络架构的泛化能力，发现训练和泛化在整洁和结构化的数据集上很容易，在嘈杂和非结构化的数据集上则更难。通过使用 “信息” 空间和 “噪声” 空间，本文证明了即使是常数宽度的神经网络，对于足够好的数据集也可以证明泛化。

Jun, 2019

对于两层神经网络在全局最小值附近的损失函数图景进行研究，确定了能够实现完美泛化的参数集，并完全描述了其梯度流动。通过新颖的技术，我们揭示了复杂的损失函数图景的一些简单特征，并揭示了模型、目标函数、样本和初始化对训练动态的不同影响。基于这些结果，我们还解释了为什么过度参数化的神经网络能够很好地泛化。

Sep, 2023