Apr, 2023

B2Opt: 学习用小预算优化黑盒优化

PDF
TL;DR本文聚焦于改进高维昂贵黑匣子优化的学习优化框架，并提出一种基于廉价代理函数和进化算法机制的新框架 B2Opt，相比黑匣子优化基准测试，B2Opt 能够实现 3 到百万倍的性能提升。
learning to optimizeblack-box optimizationsurrogate functionsevolutionary algorithmperformance improvement
发现论文，激发创造
  • 学习优化：入门与基准

    本文是第一篇关于连续优化问题的、全面的学习优化（L2O）综述和基准论文。我们对现有方案和研究方向进行分类，并对若干最具代表性的优化问题进行了基准测试。同时，我们在 Open-L2O 包中发布了我们的实现和数据，以进行可重复的研究和公平的基准测试。

    Mar, 2021

  • 基于低预算的黑盒优化算法在 BBOB 和 OpenAI Gym 上的评估

    机器学习和黑盒优化之间的相互影响性及算法性能的比较研究：基于机器学习和黑盒优化的算法在有限预算下具有较好性能，但随着预算增加，其他算法家族通常表现更好。

    Sep, 2023

  • 构建数学结构以实现学习优化

    本文提出了一种基于数学原理的 L2O 模型，通过数值模拟验证了该模型的理论发现并展示了其超越普通 L2O 模型的优越性。

    May, 2023

  • 符号学习优化：追求可解释性和可扩展性

    该论文证明了引入符号回归到 Learning to Optimize (L2O) 中的概念可以避免可扩展性和可解释问题，提出了一种基于符号回归的 L2O 模型并证明了其有效性。

    Mar, 2022

  • M-L2O：面向可泛化的学习优化 —— 通过测试时间的快速自适应

    该论文研究了学习优化（L2O）在新领域中的迁移性问题，并提出了一种元训练的 L2O 优化器解决方案，可以快速适应新任务。在经典任务上的实验证明了该方案的可行性。

    Feb, 2023

  • 训练更强的基线学习优化

    本研究采用了训练技巧来改善 L2O 模型的实际表现。我们提出了一种渐进式训练方案来缓解 L2O 模型中截断偏差和梯度爆炸之间的困境，并利用离策略模仿学习来引导 L2O 学习。结果表明，即使是最简单的 L2O 模型也可以通过这种改进的训练技巧在许多任务上胜过最新的复杂 L2O 模型。

    Oct, 2020

  • Diff-BBO：基于扩散的黑盒优化的逆向建模

    基于扩散模型的逆向建模用于黑盒优化问题，通过设计新颖的获取函数（UaE），它利用条件扩散模型的不确定性在设计空间中生成样本，实现了在线黑盒优化，并在实验中证明了其优越性能。

    Jun, 2024

  • 从学习优化到学习优化算法

    通过识别经典算法服从的关键原则并将其用于优化学习（L2O）中，我们提供了一个综合设计流程，以数据、架构和学习策略为考虑因素，从而实现经典优化与 L2O 之间的协同，形成了学习优化算法的理念。通过设计一种新的增强学习 BFGS 算法并提供数值实验证明其在多种测试环境中的适应性，我们展示了这些新原则的成功。

    May, 2024

  • 基于半监督学习和优化无标签数据采样的高维贝叶斯优化

    本文提出一种基于半监督学习的师生模型的贝叶斯优化方法，利用未标记数据和黑盒函数，在学习到的潜在空间中降低维度，使其可应用于高维问题，优化 unlabeled data 的采样和选择，采用黑盒参数化采样分布和经过动态拟合的极值分布，该方法在多项真实世界和合成训练中优于其他已有 BO 方法。

    May, 2023

  • MALIBO: 元学习用于无似然贝叶斯优化

    提出了一种新的元学习贝叶斯优化方法，通过直接学习任务间查询的效用来解决现有方法在规模可扩展性、观测尺度和噪声类型上的限制，明确建模任务不确定性，并使用辅助模型实现对新任务的稳健适应，在各个基准测试中展现了强大的即时性能，并优于现有元学习贝叶斯优化方法。

    Jul, 2023