研究浅层神经网络在过参数化情况下，如何使用二次激活函数进行训练并找到全局最优解，结果表明此方法适用于具有任意输入/输出对的任何训练数据，并可使用各种本地搜索启发式方法高效地找到全局最优解。同时，对於差分激活函数，我们也证明了梯度下降法在得到合适的初值后可以以线性速度收敛到全局最优解，它的输入来自符合高斯分布的选定属性且标记是通过种植的重量系数生成的。

Jul, 2017

研究使用 Guided Evolutionary Strategies 作为一种方法，来让优化过程中的代理梯度信息得到更优的利用，进而结合随机搜索来处理在机器学习等领域中出现的梯度无法被完全计算的问题。

Jun, 2018

本论文提出了一种新的方法，利用估计梯度来逐渐自适应地优化机器学习中的未知函数，并验证了该方法在低维和高维问题上的实验性能，证明了在调整高维超参数时我们的方法的优越性。

Jun, 2019

本文提出了一种现代观点和一般性的数学框架，用于涵盖超参数机器学习模型和非线性方程组的损失景观和高效优化，其中包括超参数深度神经网络，并说明这些系统的PL$^*$条件密切相关，这解释了（S）GD对全局最小值的收敛，并提出了一个放松PL$^*$条件的方法可应用于几乎超参数系统。

Feb, 2020

本研究通过分析神经网络与算法优化之间的关系，探讨了近期许多工作都关注的神经网络损失动态问题，证明了在ReLU激活函数下，NAG算法可能只是以次线性的速度达到全局最小值，结果表明优化非凸性损失函数实际是在对预测误差进行优化最优化问题。

Oct, 2020

本文介绍了使用本地参数坐标的自然梯度下降法及其在协方差参数化中的应用，为深度学习、变分推断和进化策略等问题的可伸缩结构几何方法开辟了新方向。

Feb, 2021

通过提出一个元学习框架，在内循环优化步骤中使用可微分凸优化（DCO），我们概括了一个广泛的现有更新规则家族，并演示了可一步优化一系列线性最小二乘问题的理论吸引力。

Mar, 2023

我们提出了一个利用非线性系统理论填补演进中算法收敛性和鲁棒性分析的理论框架，可以自动化地优化学习到的算法，保证其设计上的收敛性。

Mar, 2024

从数据中学习机制模型的方法的发展是一个持续的努力，本文通过探索基于模拟的优化方法，讨论了参数估计与结构推断的挑战。

Apr, 2024

本研究针对深度神经网络在优化过程中面临的局部最优陷阱问题，提出了一种结合两阶段训练技术与群体优化算法的创新方法，支持局部搜索能力。实验结果表明，该方法在准确性和计算效率上优于传统的基于梯度的优化技术，尤其在计算复杂度高和可训练参数众多的情况下，展现出对卷积神经网络权重优化的强大替代能力。

Oct, 2024