Jul, 2023

景观替代品: 在部分信息下学习数学优化的决策损失

HTML
PDF
TL;DR通过使用可学习的景观代理（Landscape Surrogate）作为优化器的替代品，可以在学习集成优化中加速优化过程，提供相对稠密和平滑的梯度，在合成问题和真实世界问题中实现优化目标，同时降低对优化器的调用次数，并在计算复杂度高的高维问题上优于现有方法。
发现论文，激发创造
  • 利用一阶替代函数进行优化

    本文研究迭代最小化目标函数代理的优化方法，通过算法变体和收敛性分析，提出一种统一的视角来看待加速近端梯度、区块坐标下降或Frank-Wolfe算法等一阶优化技术，并引入一种新的增量方案，实验证明与大规模机器学习优化问题中的最先进解算器匹配或超越其性能。

    May, 2013

  • 引导式进化策略：用代理梯度增强随机搜索

    研究使用 Guided Evolutionary Strategies 作为一种方法，来让优化过程中的代理梯度信息得到更优的利用，进而结合随机搜索来处理在机器学习等领域中出现的梯度无法被完全计算的问题。

    Jun, 2018

  • 自动学习紧凑的质量感知代理，用于优化问题

    通过将优化问题表示为元变量的线性组合，我们学习了大规模优化问题的低维代理模型。通过端到端地训练低维代理模型和预测模型，我们实现了训练和推断时间的大幅减少，同时通过关注优化中的重要变量和在更平滑的空间中学习来提高性能。

    Jun, 2020

  • 利用学习的方法保证调整步长

    本论文在简单问题上给出了学习优化算法的元优化保证，并展示了关于学到的优化器的性质。

    Jun, 2020

  • 无需可微分优化的决策导向学习: 学习局部优化的决策损失

    本文介绍了一种全新的决策化学习方法，通过学习任务特定的损失函数代替了传统的基于代理的优化方法，与先前的工作相比，该方法不需要手工制定基于任务的代理，性能更好且更易用。

    Mar, 2022

  • 递归迭代问题中的分支学习方法预测与优化

    本文提出了Branch & Learn框架，用于通过构造递归算法来直接建立相应的学习算法并解决包含未知参数的优化问题。经过广泛的实验，我们的提议表现优于经典方法和现有技术。

    May, 2022

  • SurCo：学习用于组合非线性优化问题的线性代理

    提出一种通过学习线性代理成本来优化实际应用中的组合优化问题的方法，该方法结合了基于梯度的方法的灵活性和线性组合优化的结构，通过SurCo-hybrid、SurCo-prior和SurCo-zero三种变体的实验结果表明，该方法能够产生低成本的解决方案，具有可比或更快的求解时间。

    Oct, 2022

  • 基于经验的高昂代价优化进化算法

    本文主要探讨了通过利用在相关问题中获得的经验，采用基于经验的代理辅助进化算法（SAEA）框架来增强昂贵优化问题的优化效率，实验结果表明从相关任务获得的经验对目标问题的评估预算的节约是有益的。

    Apr, 2023

  • 景观素描算法：基于人工智能与机器学习的代理优化问题元启发式方法

    在本文中，我们介绍了一种新的启发式算法，用于在成本函数的 extensive 评估是昂贵、不可访问或甚至是禁止的场景中进行全局优化。该方法结合了机器学习、随机优化和强化学习技术，并依赖于以前采样点的历史信息，选择应该评估成本函数的参数值。与 Replica Exchange Monte Carlo 方法优化相比，该方法所需的成本函数评估次数与模拟退火方法相当，这在高通量计算或高性能计算任务等上下文中特别重要，其中评估要么计算成本高，要么需要很长时间才能执行。该方法与标准的替代优化技术不同，因为它不构建旨在近似或重构目标函数的替代模型。我们通过将其应用于低维优化问题（维度为1、2、4和8），模拟了凝聚态物理中常见的崎岖能量景观上的最小化困难，其中成本函数崎岖不平且充斥着局部最小值。与经典模拟退火相比，LSS 显示出优化过程的有效加速。

    Sep, 2023

  • 使用非线性系统理论学习带有收敛保证的优化方法

    我们提出了一个利用非线性系统理论填补演进中算法收敛性和鲁棒性分析的理论框架，可以自动化地优化学习到的算法，保证其设计上的收敛性。

    Mar, 2024