通过 Rover Descent 方法，我们提出了一种学习良好导航策略来优化局部表面的方法，它可以用最小的二维数据集训练学习，从而在高维空间中达到良好的优化状态，而且仅使用零阶信息和不需要梯度或曲率信息。

Jan, 2018

本文提出了一种新的元优化器，该优化器能够在基于点和基于种群的优化算法算法空间中进行学习，提高了预测的准确性和优化能力，并在非凸测试函数和蛋白质对接应用中的实验结果表明，该元优化器优于现有竞争对手。

Nov, 2019

本文旨在证明高维度空间中定义的某些非凸函数有一个只包含其临界点大部分的数值狭窄区间的存在，并通过对 MNIST 数据集中的师生网络的实验观察得出了类似的结论，并发现梯度下降和随机梯度下降方法可以在相同步数内达到此水平。

Dec, 2014

我们提出了一种非凸优化算法元启发式方法，基于深度生成网络的训练，能在连续、超高维度的空间中实现有效搜索。通过网络训练，利用采样的局部梯度种群在定制的损失函数内，将网络输出分布函数演化朝向高性能最优点的一个峰值。深度网络架构根据训练过程进行渐进增长，使得该算法能够处理高维空间的维度困境。我们将这一概念应用于一系列标准优化问题，维度高达一千，证明我们的方法在较少函数评估下表现更好，超过了现有算法基准。我们还讨论了深度网络超参数化、损失函数设计和适当网络架构选择在优化中的作用，以及采样的局部梯度所需的批量大小与问题维度无关。这些概念为一类利用可自定义和表达性强的深度生成网络来解决非凸优化问题的算法奠定了基础。

Jul, 2023

在本文中，我们介绍了一种新的启发式算法，用于在成本函数的 extensive 评估是昂贵、不可访问或甚至是禁止的场景中进行全局优化。该方法结合了机器学习、随机优化和强化学习技术，并依赖于以前采样点的历史信息，选择应该评估成本函数的参数值。与 Replica Exchange Monte Carlo 方法优化相比，该方法所需的成本函数评估次数与模拟退火方法相当，这在高通量计算或高性能计算任务等上下文中特别重要，其中评估要么计算成本高，要么需要很长时间才能执行。该方法与标准的替代优化技术不同，因为它不构建旨在近似或重构目标函数的替代模型。我们通过将其应用于低维优化问题（维度为 1、2、4 和 8），模拟了凝聚态物理中常见的崎岖能量景观上的最小化困难，其中成本函数崎岖不平且充斥着局部最小值。与经典模拟退火相比，LSS 显示出优化过程的有效加速。

Sep, 2023

通过引入层次循环神经网络优化算法和基于元学习的小任务集，实现了一个新的学习梯度下降优化器，解决了在更大的问题上扩展能力不足和泛化能力受限问题，并在 ImageNet 数据集上通过数千步为 Inception V3 和 ResNet V2 架构进行了优化。

Mar, 2017

通过使用可学习的景观代理（Landscape Surrogate）作为优化器的替代品，可以在学习集成优化中加速优化过程，提供相对稠密和平滑的梯度，在合成问题和真实世界问题中实现优化目标，同时降低对优化器的调用次数，并在计算复杂度高的高维问题上优于现有方法。

Jul, 2023

本文提出了一种现代观点和一般性的数学框架，用于涵盖超参数机器学习模型和非线性方程组的损失景观和高效优化，其中包括超参数深度神经网络，并说明这些系统的 PL$^*$ 条件密切相关，这解释了（S）GD 对全局最小值的收敛，并提出了一个放松 PL$^*$ 条件的方法可应用于几乎超参数系统。

Feb, 2020

本研究考虑学习一层隐藏层神经网络，通过高斯分布输入和低秩张量分解来优化非凸目标函数，利用随机梯度下降法可以证明收敛于全局最小值，并通过模拟实验证实。

Nov, 2017

研究表明，深度神经网络模型具有很好的泛化能力，其优秀的泛化能力是来自于损失函数的加权局部最小值及其优化方法。

Jun, 2017