景观素描算法：基于人工智能与机器学习的代理优化问题元启发式方法

Sep, 2023

景观素描算法：基于人工智能与机器学习的代理优化问题元启发式方法

Landscape-Sketch-Step: An AI/ML-Based Metaheuristic for Surrogate Optimization Problems

Rafael Monteiro, Kartik Sau

TL;DR在本文中，我们介绍了一种新的启发式算法，用于在成本函数的 extensive 评估是昂贵、不可访问或甚至是禁止的场景中进行全局优化。该方法结合了机器学习、随机优化和强化学习技术，并依赖于以前采样点的历史信息，选择应该评估成本函数的参数值。与 Replica Exchange Monte Carlo 方法优化相比，该方法所需的成本函数评估次数与模拟退火方法相当，这在高通量计算或高性能计算任务等上下文中特别重要，其中评估要么计算成本高，要么需要很长时间才能执行。该方法与标准的替代优化技术不同，因为它不构建旨在近似或重构目标函数的替代模型。我们通过将其应用于低维优化问题（维度为 1、2、4 和 8），模拟了凝聚态物理中常见的崎岖能量景观上的最小化困难，其中成本函数崎岖不平且充斥着局部最小值。与经典模拟退火相比，LSS 显示出优化过程的有效加速。

Abstract

In this paper, we introduce a new heuristics for global optimization in scenarios where extensive evaluations of the cost function are expensive, inaccessible, or even prohibitive. The method, which we call Lands

global optimization heuristics machine learning stochastic optimization reinforcement learning

发现论文，激发创造

景观替代品：在部分信息下学习数学优化的决策损失

通过使用可学习的景观代理（Landscape Surrogate）作为优化器的替代品，可以在学习集成优化中加速优化过程，提供相对稠密和平滑的梯度，在合成问题和真实世界问题中实现优化目标，同时降低对优化器的调用次数，并在计算复杂度高的高维问题上优于现有方法。

Jul, 2023

Learn2Hop: 通过学习在粗糙的景观上进行优化

本文提出了一种基于元学习的优化算法，适用于包含许多局部最小值的非凸损失表面优化问题，并重点研究了结构优化问题中的表现，实现了高效的探索和改进低能量最小值的速率，并在新任务上获得了效率提升。

Jul, 2021

探索组合空间结构相似性的推断

通过使用图数据挖掘技术，本文提出了利用局部最优网络作为适应度景观的代理，以定性和定量分析探索这些景观中嵌入的潜在拓扑结构信息，从而解决了实际情况中推断相似性的困难。通过在三个经典组合优化问题上进行大规模实证实验，我们获得了支持同类景观之间在邻近维度存在结构相似性的确凿证据，并探究了不同问题类之间的景观关系。

Dec, 2023

全局优化基准测试的 ImageNet 函数库

对黑盒优化问题的领域特征进行研究，探索性景观分析（ELA）模型成功地识别了预定义的人造特征，并为解决这些挑战的组合选择器提供了帮助。本研究提出了利用图像识别方法解决这个问题的方法，并在大型数据集上应用基本的人工神经网络模型进行分类，成功实现了机器驱动的特征提取。

Jun, 2022

生成对抗网络优化空间的深入探究

本研究通过新的可视化技术研究了 GAN 优化景观，并从理论和实践的角度对 GAN 的训练进行了实证研究，发现 GAN 在训练过程中会显著旋转，并最终收敛于一个稳定的马鞍点而非最小值。

Jun, 2019

自动学习紧凑的质量感知代理，用于优化问题

通过将优化问题表示为元变量的线性组合，我们学习了大规模优化问题的低维代理模型。通过端到端地训练低维代理模型和预测模型，我们实现了训练和推断时间的大幅减少，同时通过关注优化中的重要变量和在更平滑的空间中学习来提高性能。

Jun, 2020

基于代理的分布式群体优化算法在计算代价昂贵模型中的应用

本论文旨在在并行计算结构中实现基于代理的适应度评估，在复杂的地质科学景观进化模型上实现优化解决方案时间的缩短，同时保持优化准确性。

Jan, 2022

利用景观设计学习一层神经网络

本研究考虑学习一层隐藏层神经网络，通过高斯分布输入和低秩张量分解来优化非凸目标函数，利用随机梯度下降法可以证明收敛于全局最小值，并通过模拟实验证实。

Nov, 2017

优化解决方案采样器的组合问题：策略梯度方法的景观

深度神经网络和强化学习方法在解决复杂的组合问题方面取得了显著的实证成果，本文引入了一种新的理论框架来分析这些方法的有效性，回答了存在生成模型能够生成近似最优解、拥有易处理的参数数量以及优化结果无次优静态点等问题，并介绍了一种新的正则化过程，实验证明其有助于解决梯度消失和避免不良静态点的问题。

Oct, 2023

基于生成神经网络的超高维非凸全局优化

我们提出了一种非凸优化算法元启发式方法，基于深度生成网络的训练，能在连续、超高维度的空间中实现有效搜索。通过网络训练，利用采样的局部梯度种群在定制的损失函数内，将网络输出分布函数演化朝向高性能最优点的一个峰值。深度网络架构根据训练过程进行渐进增长，使得该算法能够处理高维空间的维度困境。我们将这一概念应用于一系列标准优化问题，维度高达一千，证明我们的方法在较少函数评估下表现更好，超过了现有算法基准。我们还讨论了深度网络超参数化、损失函数设计和适当网络架构选择在优化中的作用，以及采样的局部梯度所需的批量大小与问题维度无关。这些概念为一类利用可自定义和表达性强的深度生成网络来解决非凸优化问题的算法奠定了基础。

Jul, 2023