通过比较基于贝叶斯优化的算法，我们研究了在简单合成函数上训练的循环神经网络优化器的性能，发现这些训练后的优化器在不同的黑盒函数优化、超参数整定和全局优化基准测试中表现优异。

Nov, 2016

该论文讨论在数据过度参数化时，第一阶段优化方案（如随机梯度下降）的性质。作者发现，当损失函数在初始点的最小邻域内具有某些属性时，迭代会以几何速率收敛于全局最优解，会以接近直接的路线从初始点到达全局最优解，其中，通过引入一个新的潜力函数来作为证明技术的一部分。对于随机梯度下降（SGD），作者开发了新的鞅技巧，以保证 SGD 绝不会离开初始化的小邻域。

Dec, 2018

本文提出了在生成对抗网络训练中，通过引入梯度层来寻找无限维空间中的下降方向，以克服深模型训练中局部最优问题，从而获得更快更好的收敛性能以及更强的表达能力。

Jan, 2018

我们提出了一种名为 Recurrent Gradient Descent Network 的深度优化方法，它使用超参数自由的更新单元和卷积神经网络来生成更新，从而学习了一种隐含的图像先验和通用的更新规则，从而在各种恶劣情况下，提高了图像恢复的质量。

Apr, 2018

本文提出了一种不依赖于传统极小 - 极大公式的生成式对抗方法理论，并展示了当存在强的辨别器时，通过每个功能性梯度步骤，可以学到一个好的生成器，使得真实数据和生成数据的分布的 KL 散度改善，直到收敛于零，并基于该理论，提出了一种新的稳定的生成式对抗方法，同时提供了从这个新的视角对原始 GAN 的理论洞见，最终，针对图像生成的实验展示了我们的新方法的有效性。

Jan, 2018

通过使用基于残差网络的近端映射，以及递归应用近端梯度算法的基本架构，该研究成功地解决了许多有关从受限传感器数据中恢复高分辨率图像时遇到的挑战，包括训练数据的缺乏，需要满足物理可行性的合理重建，以及在实时应用中需要快速重建。经过广泛的实验，该架构在超分辨率和 MRI 图像的重建方面，表现了优于传统方法以及当前最先进的基于小波的压缩感知方法的性能。

Jun, 2018

研究了使用基于核的判别器训练生成式对抗网络的梯度下降 - 上升过程，通过线性化的非线性动态系统描述方法，探究了学习率、正则化和核判别器带宽对该过程的局部收敛速度的影响，提出了系统收敛、振荡和发散的阶段转换点，并通过数值模拟验证了结论。

May, 2023

本文提出了一个关于如何解释神经网络使用梯度下降算法泛化能力较强的假设 Coherent Gradients，并支持该假设的启发式论证和简单实验证明。同时，该分析为防止过拟合提出了一种自然而然的梯度下降修改方法。

Feb, 2020

本文提出了一种部分学习方法，用于解决具有非线性正演算子的病态反问题。该方法利用经典正则化理论和深度学习的最新进展，通过对反问题的先验信息进行编码的正演算子、噪声模型和正则化函数来进行学习，其中包含每次迭代中的数据差异和正则化器的梯度做为卷积神经网络的输入。实验表明，与 FBP 和 TV 重建相比，所提出的方法在保证速度的同时，能够在 512 x 512 体积内产生 5.4dB 的 PSNR 提升。

Apr, 2017

在这项研究中，我们提出了一种基于二阶 Nesterov 近端梯度优化的深度几何增量学习框架，该框架能够高效地解决图像逆问题并降低图像重建中的伪影。我们的重建方案包括线性重建、级联几何增量修复、Nesterov 加速和后处理四个模块，并通过与现有技术的比较表明其优越性。

Aug, 2023