Design-Bench presents a benchmark for offline model-based optimization (MBO) with high-capacity deep neural networks using diverse and realistic tasks derived from real-world optimization problems in biology, materials science, and robotics.

Feb, 2022

离线基于模型的优化（MBO）旨在最大化黑箱目标函数，仅使用设计和分数的离线数据集。我们引入一种名为离线模型优化设计编辑（DEMO）的新方法，通过在离线数据集上应用训练好的代理模型的梯度上升来产生一个合成数据集，用于训练条件扩散模型以生成高分设计，并通过直接将离线数据集中的高分特征加入到设计生成过程中进行了改进。实证评估表明，DEMO 在 7 个离线 MBO 任务中优于各种基准方法。

May, 2024

本文旨在解决基于数据驱动的基于模型优化 (MBO) 问题，提出了一种名为保守目标模型 (COMs) 的方法，该方法使用对无法分布的输入提供目标函数的下界的模型进行优化， 结构上，COMs 类似于用于克服对抗性示例的对抗性训练方法，并在广泛的 MBO 问题上优于许多现有方法。

Jul, 2021

RIBBO 是一种从离线数据中强化学习 Black-Box Optimization 算法的方法，采用表达能力强的序列模型学习多个行为算法和任务产生的优化历史，通过集成 regret-to-go tokens 来自动生成满足用户期望遗憾值的查询点，从而在各种问题上实现了普遍良好的实证性能。

Feb, 2024

本文提出了一种基于模型的离线策略优化算法 (MOPO)，通过将模型地图上未知点处的即时报酬设置为高风险，从而优化模型训练过程中的代理策略，以解决离线数据分布发生漂移的问题，并在现有数据集和具有挑战性的连续控制任务中获得了最佳表现。

May, 2020

本研究在多智能体环境下，重新定义二元随机变量 $o$ 并将多智能体强化学习形式化为概率推理。我们提出了一种名为 ROMMEO 的正则对手模型最大熵目标的变分下界，并从中展示了一种对手建模的新方法，理论和实证地证明其在协作游戏中可以提高训练智能体的性能。我们引入了一种名为 ROMMEO-Q 的表格 Q 迭代方法，并将其扩展为复杂环境下的 ROMMEO-AC 的近似版本，我们在挑战性的迭代矩阵游戏和微分游戏上评估了这两种算法，证明它们可以胜过强的多智能体强化学习基线。

May, 2019

本研究提出了基于模型的离线强化学习算法 MOReL，具有模块化设计，可以用于模型生成、不确定性估计、规划等领域，实验结果表明，MOReL 能够达到或超过当前广泛研究的离线强化学习基准的最新结果。

May, 2020

离线优化涉及最大化一个黑盒目标函数，存在广泛的应用。然而，与离线单目标优化相比，离线多目标优化进展不足，主要原因是缺乏像单目标优化的 Design-Bench 这样的基准。为了填补这一差距，我们提出了离线多目标优化的第一个基准，覆盖了从合成到真实任务的一系列问题。该基准提供了任务、数据集和开源示例，可作为方法比较和离线多目标优化进展的基础。此外，我们从数据、模型架构、学习算法和搜索算法四个基本角度分析了如何将当前相关方法调整为离线多目标优化。实证结果显示，离线多目标优化方法相较于训练集的最佳值有所改进，证明了其有效性。由于没有特定的方法明显优于其他方法，进一步提高离线多目标优化的效果仍然是一个开放性挑战。最后，我们探讨了离线多目标优化的未来挑战，希望为这个新兴领域带来一些启示。我们的代码可在 https://github.com/lamda-bbo/offline-moo 找到。

Jun, 2024

该论文介绍了一种新的离线黑盒优化的逆向方法 ——DDOM，基于扩散模型，它能够通过学习条件生成模型来进行优化，其在 Design-Bench 基准测试中的表现与最先进的基线相媲美。

Jun, 2023

利用模型为基础的镜像爬升算法 (MoMA) 在部分离线数据覆盖下，采用通用函数逼近能力，通过在策略评估步骤中的转移模型置信区间内的最小化过程来保守估计值函数，然后在策略改进步骤中使用通用函数逼近而不是常用的参数策略类，从而充分利用模型为基础方法中固有的无限制策略空间，并且通过对返回策略的次优性建立理论保证。

Jan, 2024