通过将优化问题表示为元变量的线性组合，我们学习了大规模优化问题的低维代理模型。通过端到端地训练低维代理模型和预测模型，我们实现了训练和推断时间的大幅减少，同时通过关注优化中的重要变量和在更平滑的空间中学习来提高性能。

Jun, 2020

本研究考虑学习一层隐藏层神经网络，通过高斯分布输入和低秩张量分解来优化非凸目标函数，利用随机梯度下降法可以证明收敛于全局最小值，并通过模拟实验证实。

Nov, 2017

在本文中，我们介绍了一种新的启发式算法，用于在成本函数的 extensive 评估是昂贵、不可访问或甚至是禁止的场景中进行全局优化。该方法结合了机器学习、随机优化和强化学习技术，并依赖于以前采样点的历史信息，选择应该评估成本函数的参数值。与 Replica Exchange Monte Carlo 方法优化相比，该方法所需的成本函数评估次数与模拟退火方法相当，这在高通量计算或高性能计算任务等上下文中特别重要，其中评估要么计算成本高，要么需要很长时间才能执行。该方法与标准的替代优化技术不同，因为它不构建旨在近似或重构目标函数的替代模型。我们通过将其应用于低维优化问题（维度为 1、2、4 和 8），模拟了凝聚态物理中常见的崎岖能量景观上的最小化困难，其中成本函数崎岖不平且充斥着局部最小值。与经典模拟退火相比，LSS 显示出优化过程的有效加速。

Sep, 2023

本文提出了一种针对非可微和非可分解损失函数的优化方法，使用代理神经网络逐渐逼近真实损失函数，并通过联合双层优化学习预测模型和代理损失函数，实现了高效学习代理损失函数的效果。

May, 2019

本文提出了基于噪声对比法的伪损失函数方法和解决缓存方案的方法，以优化组合优化问题的预测和优化方法中的训练时间和准确性的平衡。实验证明，该方法在计算成本的一小部分之内即可与现有技术匹配。

Nov, 2020

使用神经逼近的替代函数来解决具有未定义或零梯度问题的图形优化，适用于渲染、程序建模和物理驱动动画中的非凸、非可微黑盒问题。

Aug, 2023

通过 Rover Descent 方法，我们提出了一种学习良好导航策略来优化局部表面的方法，它可以用最小的二维数据集训练学习，从而在高维空间中达到良好的优化状态，而且仅使用零阶信息和不需要梯度或曲率信息。

Jan, 2018

深度神经网络和强化学习方法在解决复杂的组合问题方面取得了显著的实证成果，本文引入了一种新的理论框架来分析这些方法的有效性，回答了存在生成模型能够生成近似最优解、拥有易处理的参数数量以及优化结果无次优静态点等问题，并介绍了一种新的正则化过程，实验证明其有助于解决梯度消失和避免不良静态点的问题。

Oct, 2023

我们引入了决策为中心的替代建模的概念，以解决实时环境下的计算困难的非线性优化问题。所提出的数据驱动框架旨在学习一个更简单的，例如凸优化模型，该模型经过训练以最小化决策预测误差，该误差定义为原始优化模型和替代优化模型的最优解之间的差异。我们将学习问题作为双层规划问题来进行建模，可以看作是一个数据驱动的逆优化问题，我们采用之前工作中的分解型解决算法进行处理。我们通过涉及常见非线性化学过程（如化学反应器、热交换网络和物料混合系统）的数值实验验证了我们的框架。我们还详细比较了以决策为中心的替代建模和标准的数据驱动替代建模方法，并证明了我们的方法在产生简单的替代模型且预测决策准确性更高方面具有显著的数据效率。

Aug, 2023

提出一种通过学习线性代理成本来优化实际应用中的组合优化问题的方法，该方法结合了基于梯度的方法的灵活性和线性组合优化的结构，通过 SurCo-hybrid、SurCo-prior 和 SurCo-zero 三种变体的实验结果表明，该方法能够产生低成本的解决方案，具有可比或更快的求解时间。

Oct, 2022