ICMLJun, 2024

离线多目标优化

PDF
TL;DR离线优化涉及最大化一个黑盒目标函数，存在广泛的应用。然而，与离线单目标优化相比，离线多目标优化进展不足，主要原因是缺乏像单目标优化的 Design-Bench 这样的基准。为了填补这一差距，我们提出了离线多目标优化的第一个基准，覆盖了从合成到真实任务的一系列问题。该基准提供了任务、数据集和开源示例，可作为方法比较和离线多目标优化进展的基础。此外，我们从数据、模型架构、学习算法和搜索算法四个基本角度分析了如何将当前相关方法调整为离线多目标优化。实证结果显示，离线多目标优化方法相较于训练集的最佳值有所改进，证明了其有效性。由于没有特定的方法明显优于其他方法，进一步提高离线多目标优化的效果仍然是一个开放性挑战。最后，我们探讨了离线多目标优化的未来挑战，希望为这个新兴领域带来一些启示。我们的代码可在 https://github.com/lamda-bbo/offline-moo 找到。
offline optimizationmulti-objective optimizationbenchmarkmethod comparisonsemerging field
发现论文，激发创造
  • Design-Bench: 基于数据驱动的离线模型优化基准测试

    Design-Bench presents a benchmark for offline model-based optimization (MBO) with high-capacity deep neural networks using diverse and realistic tasks derived from real-world optimization problems in biology, materials science, and robotics.

    Feb, 2022

  • 基于任务导向多目标优化生成对抗性样本

    本研究提出了面向任务的多目标优化方法（Task Oriented MOO）来对抗对抗性示例生成过程中的问题进行优化，重点放在改进未达成目标的任务上，实现了对抗性训练的提高。

    Apr, 2023

  • 离线基于模型优化的设计编辑

    离线基于模型的优化（MBO）旨在最大化黑箱目标函数，仅使用设计和分数的离线数据集。我们引入一种名为离线模型优化设计编辑（DEMO）的新方法，通过在离线数据集上应用训练好的代理模型的梯度上升来产生一个合成数据集，用于训练条件扩散模型以生成高分设计，并通过直接将离线数据集中的高分特征加入到设计生成过程中进行了改进。实证评估表明，DEMO 在 7 个离线 MBO 任务中优于各种基准方法。

    May, 2024

  • 机器学习中使用多目标优化时需避免的常见陷阱

    我们的目标是为机器学习从业者提供清晰、实用的指南，以有效地应用多目标优化 (MOO)，特别是在深度学习 (DL) 的背景下。

    May, 2024

  • 多目标同时乐观优化

    本文介绍了一种基于多臂赌博机的乐观方法，称之为多目标同时乐观优化（MO-SOO）。该算法通过结合多个多臂赌博机在多目标问题的可行决策空间中建立分层结构，以识别帕累托最优解。通过描述该算法的有限时间和渐近行为，分别分析了算法的上界和一致性性质。在 300 个双目标基准问题中，与三个随机算法进行比较，MO-SOO 表现出与顶尖随机算法一致的性能，即 SMS-EMOA 算法。

    Dec, 2016

  • 多目标优化的多梯度学习优化

    通过引入自动学习范式，我们介绍了一种新的自动优化多目标优化问题的学习方法，并提出了一种多梯度学习优化（ML2O）方法，通过自动学习多个梯度以更新方向。通过引入新的守卫机制，我们提出了一种守卫多梯度学习优化（GML2O）方法，并证明了 GML2O 生成的迭代序列收敛到一个 Pareto 临界点。实验结果表明，我们学习的优化器在训练多任务学习神经网络方面胜过手动设计竞争对手。

    Nov, 2023

  • ROMO: 检索增强的离线基于模型的优化

    在这项工作中，我们考虑了一种更加普遍但具有挑战性的约束模型优化问题（CoMBO），其中只有部分设计空间可以进行优化，而其余部分受到环境的约束。我们提出了一种新的推理增强的离线模型优化方法（ROMO），它通过检索离线数据集并聚合相关样本来提供可信的预测，然后在此基础上进行梯度优化。ROMO 在 CoMBO 设置中表现出色，优于最先进的方法。

    Oct, 2023

  • 并行多目标超参数优化的均匀归一化与有界目标

    机器学习模型的超参数优化是一个具有多目标的挑战性问题，本研究提出了一种多目标贝叶斯优化算法，通过统一目标规范化和随机化权重在标量化中解决了不同目标尺度的问题，并通过限制目标来提高算法效率，最后通过并行化加速了优化过程。

    Sep, 2023

  • 基于在线离线实验的策略搜索贝叶斯优化

    使用离线模拟器并应用多任务贝叶斯优化改进在线机器学习系统的方法，较之仅进行在线实验，能够更有效地探索复杂、多维度的策略空间，并通过学习曲线表明离线实验可以显著提高在线实验结果的准确性和优化速度。

    Apr, 2019

  • 多目标主动偏好学习的贝叶斯优化

    提出了一种贝叶斯优化方法，用于在具有昂贵目标函数的多目标优化问题中确定最优解，通过交互方式自适应地估计 DM 的贝叶斯偏好模型，并利用获得的偏好信息进行主动学习，从而有效地在基准函数优化和机器学习模型的超参数优化问题中找到最优解。

    Nov, 2023