这篇文章介绍了一种创新的方法来训练回归 MLP 网络，该方法不受局部极小值的影响，通过基于训练集分布特性或更好地说是神经网络内部的图像来避免局部极小值问题，并通过一个著名的基准测试展示了算法的性能。

Aug, 2023

本文研究了应用于两个变量上且每个变量可被限制在潜在非凸约束集上的损失函数的交替最小化方法，该方法在高维统计学和信号处理中常常出现。作者提出了本地凹率系数来度量非凸集合的凹性，进一步揭示了交替和非交替方法之间的重要区别。此外，作者还提出了不精确算法的一组足够条件，以确保其快速收敛，并通过多任务回归等例子进行了验证。

Sep, 2017

我们提出了一种通过最小问题求解器进行反向传播的方法，使用隐函数定理计算倒数，以实现对最小问题求解器的快速、稳定的训练。

Apr, 2024

本文提出了一种基于离线方法的凸优化方法，通过查询梯度谐和和的方法实现自适应保证，在平滑和非平滑条件下都能实现快速收敛，同时还可以推广到随机梯度下降算法中，提供了一种根据梯度幅值自适应选择 minibatch 大小的方法。

May, 2017

本研究提出了一种新的即时参数更新方法，通过消除每层计算梯度的需要来加速学习、避免梯度消失问题，并在基准数据集上优于最先进的方法，为高效有效的深度神经网络训练提供了一个有希望的方向。

Aug, 2023

本文介绍了一种名为 DeepAM 的图像恢复通用框架，该框架使用卷积神经网络作为先验或正则化器，通过端到端学习来训练深度神经网络实现传统 AM 算法中的两个步骤（近端映射和？- 延续）。作者通过在大量数据上学习而获得的深度聚合的正则化器表现优于最近的数据驱动方法和非本地方法，并通过几个图像恢复任务来展示其灵活性和有效性，包括单张图像去噪、RGB-NIR 恢复和深度超分辨率。

Dec, 2016

本文提出了一种线性化的 ADMM 算法，用于最小化一个凸函数在非凸约束下的解，旨在解决变量处于神经网络范围内的约束问题，并给出了这种算法在 feedforward 架构下的性能特征，相比于梯度下降法更加高效。

Jul, 2019

本文提出一种结合 Alternating minimization（AM）和 Nesterov's acceleration 的自适应加速交替最小化算法，可用于解决具有凸性和非凸性的优化问题，同时不需要任何有关问题的凸性或函数参数等知识。通过证明该算法的收敛速度，得出该方法是自适应且优化的。此外还为具有线性约束的强凸问题开发了其原始 - 对偶修改。

Jun, 2019

通过平滑分析技术，我们对具有分段线性激活函数、二次损失和单输出的多层神经网络（MNN）在可微的局部极小值处的训练损失提供保证。特别地，我们证明对于一个具有一个隐藏层的 MNN，几乎每个数据集和 dropout-like 噪声实现的每个可微局部极小值的训练误差都是零，然后将这些结果扩展到多个隐藏层的情况。我们的理论保证对训练数据几乎没有限制，并得到了数值验证。这些结果说明了为什么这些 MNN 的高度非凸损失可以通过局部更新（例如随机梯度下降）进行易于优化，这与经验证据相符。

May, 2016

本论文提出了一种基于半隐式杂交梯度法的对抗学习算法，能够显著提高收敛速度和稳健性，并证明其在解决非凸非凹极小极大问题上的收敛率优于动态对抗训练算法和 You Only Propagate Once 算法。

Feb, 2022