ICMLJul, 2021

有效离线基于模型优化的保守目标模型

PDF
TL;DR本文旨在解决基于数据驱动的基于模型优化 (MBO) 问题，提出了一种名为保守目标模型 (COMs) 的方法，该方法使用对无法分布的输入提供目标函数的下界的模型进行优化， 结构上，COMs 类似于用于克服对抗性示例的对抗性训练方法，并在广泛的 MBO 问题上优于许多现有方法。
computational design problemsdata-driven model-based optimizationconservative objective modelsadversarial training methodsmbo problems
发现论文，激发创造
  • 保守目标模型是一种特殊的对比离差能量模型

    本文研究了保守的客观模型（COM）在离线基于模型的优化（MBO）中的应用；提出了用 Langevin MCMC 采样器代替渐近梯度采样器的方法，使得采样概率正比于所预测的奖励；进一步表明，通过将无条件概率和条件概率分别建模，可以获得更好的采样效果。

    Apr, 2023

  • Design-Bench: 基于数据驱动的离线模型优化基准测试

    Design-Bench presents a benchmark for offline model-based optimization (MBO) with high-capacity deep neural networks using diverse and realistic tasks derived from real-world optimization problems in biology, materials science, and robotics.

    Feb, 2022

  • ROMO: 检索增强的离线基于模型的优化

    在这项工作中，我们考虑了一种更加普遍但具有挑战性的约束模型优化问题（CoMBO），其中只有部分设计空间可以进行优化，而其余部分受到环境的约束。我们提出了一种新的推理增强的离线模型优化方法（ROMO），它通过检索离线数据集并聚合相关样本来提供可信的预测，然后在此基础上进行梯度优化。ROMO 在 CoMBO 设置中表现出色，优于最先进的方法。

    Oct, 2023

  • 离线基于模型优化的设计编辑

    离线基于模型的优化（MBO）旨在最大化黑箱目标函数，仅使用设计和分数的离线数据集。我们引入一种名为离线模型优化设计编辑（DEMO）的新方法，通过在离线数据集上应用训练好的代理模型的梯度上升来产生一个合成数据集，用于训练条件扩散模型以生成高分设计，并通过直接将离线数据集中的高分特征加入到设计生成过程中进行了改进。实证评估表明，DEMO 在 7 个离线 MBO 任务中优于各种基准方法。

    May, 2024

  • 训练集之外：一种检测模型优化中分布偏移的直观方法

    通过训练二元分类器，我们提出了一种简单的方法来检测分布的变化，从而解决了在模型设计过程中的分布偏移问题，并通过验证其在实际应用中的有效性，证实了此方法可以提高设计的质量。

    Nov, 2023

  • 基于多项式模型的黑盒目标优化

    通过拟合多项式替代模型到目标函数，通过迭代更新模型并利用预期改进的探索和利用平衡，提供模型的不确定性估计的 PMBO 是一种成功竞争，并在某些情况下甚至超越其他算法的黑盒优化方法，可广泛应用于各个领域。

    Sep, 2023

  • 基于模型的因果贝叶斯优化

    本文提出了一种基于模型和因果贝叶斯优化算法的方法，学习一个完整的系统模型并通过乐观的原则进行探索和开发，以解决在未知结构方程模型下如何干预以最大化目标变量的问题，并通过实验得到了有益的结果。

    Nov, 2022

  • COMBO: 保守的离线基于模型的策略优化

    该研究提出一种新的基于模型的线下强化学习算法（COMBO），该算法不需要显式的不确定性估计，通过对已学习模型下的滚动状态动作元组进行价值函数正则化，从而得到状态动作元组价值函数的保守估计。该方法可以优化真实策略价值的下限，且实验表明与先前的线下模型自由和基于模型的方法相比，COMBO 在广泛研究的线下 RL 基准测试中表现持续改进。

    Feb, 2021

  • 基于模型的因果贝叶斯优化

    在本论文中，我们考虑了在 Causal Bayesian Optimization 基础上的一般化问题，即其他代理或外部事件也会对系统进行干预。我们将此广义 CBO 的形式化称为 Adversarial Causal Bayesian Optimization（ACBO），并引入了第一个具有有限遗憾的 ACBO 算法：Causal Bayesian Optimization with Multiplicative Weights（CBO-MW）。

    Jul, 2023

  • 基于扩散模型的昂贵多目标贝叶斯优化

    多目标贝叶斯优化通过引入复合扩散模型和信息熵加权方法，在昂贵多目标优化问题中获得高质量解集，并在合成基准和实际问题上展示了卓越性能。

    May, 2024