基于策略的贝叶斯实验设计用于不可微分的隐式模型

Mar, 2022

基于策略的贝叶斯实验设计用于不可微分的隐式模型

Policy-Based Bayesian Experimental Design for Non-Differentiable Implicit Models

Vincent Lim, Ellen Novoseller, Jeffrey Ichnowski, Huang Huang, Ken Goldberg

TL;DR介绍了一种基于强化学习的最优实验设计方法，通过改进基于策略的贝叶斯最优实验设计方法，将其重构为一个基于马尔可夫决策过程的奖励函数计算模型，使用无损信息下限来学习策略，提供了快速的离线实验设计方案，适用于非可微隐含模型的模拟实验优化设计。

Abstract

For applications in healthcare, physics, energy, robotics, and many other fields, designing maximally informative experiments is valuable, particularly when experiments are expensive, time-consuming, or pose safety hazards. While existing approaches can sequentially design experiments based on prior observation history, many of these methods do not extend to

optimal experimental design implicit models reinforcement learning likelihood-free information lower bounds deep reinforcement learning

发现论文，激发创造

隐式深度自适应设计：基于策略的实验设计，无需似然函数

提出了一种利用隐式模型进行的实时自适应实验的新方法 - iDAD，通过学习设计策略网络来摊销贝叶斯最优实验设计的成本，并可在实验时快速部署，可以在毫秒内做出设计决策。

Nov, 2021

隐式模型的高效贝叶斯实验设计

本文提出了一个新的实验设计框架，用于解决隐式模型中的优化资源分配问题，采用了先前不可行的参数和数据之间的互信息作为效用函数，并使用基于贝叶斯优化的方法解决最优设计问题。

Oct, 2018

深度自适应设计：序贯贝叶斯实验设计的摊销

本文介绍了深度自适应设计（DAD）方法，通过一次前期学习建立自适应贝叶斯实验设计的成本分摊，实现了实时运行实验的功能。

Mar, 2021

BADDr: 基于贝叶斯适应性的深度 Dropout RL 用于 POMDPs

本文提出了一种表示无关的、针对部分可观测情况下的贝叶斯强化学习的理论框架，并提出了一种基于 dropout 网络的新方法 BADDr，旨在解决 BRL 方法在拓展性上存在的瓶颈，并证实其在处理规模较大的情况时的有效性。

Feb, 2022

使用近似动态规划的序贯贝叶斯最优实验设计

本文介绍了用于顺序试验的最优设计策略，并且使用贝叶斯推断的信息理论设计目标针对参数推断进行了 sOED 问题的严谨公式化。同时，研究了具有连续参数，设计和观测空间的非线性设计的数字方法，并利用探索和利用来提高状态空间中经常访问区域的逼近精度。最后，文中展示了对非线性源反演问题的优势。

Apr, 2016

虚拟与现实：贝叶斯优化在强化学习中平衡模拟与实验

本文提出了一种基于贝叶斯优化算法的方法，通过利用来自仿真的先验知识，自动将仿真数据和实验数据相结合以更有效地找到良好的控制策略，从而减少实验次数和成本。

Mar, 2017

使用机器学习设计最优行为实验

本研究提供了有关利用 BOED 及机器学习寻找可为任何类型的可模拟数据的模型提供最佳实验的教程，以及如何使用此过程的副产品快速、简便地评估模型及其参数与真实实验数据的方法，并利用模拟和真实实验验证了所提出方法的有效性。

May, 2023

基于强化学习的变分顺序最优实验设计

提出了一种基于贝叶斯框架的变分顺序最优实验设计新方法，采用变分逼近估计期望效用的下界估计来解决最优设计策略，并采取策略梯度方法来优化模型参数和加快收敛速度，旨在优化设计有限序列实验问题，针对参数推断、模型鉴别和面向目标的预测等问题具有实际应用价值。

Jun, 2023

隐式行为克隆

在机器人策略学习中，使用隐式模型的监督策略学习通常表现更好，这种策略不需要奖励信息，可以学习复杂的行为，并能够在具有高度组合复杂性和毫米级精度要求的任务中学习人类示范的复杂行为。

Sep, 2021

用于基于模拟推断的随机梯度贝叶斯最优实验设计

本研究通过互信息边界建立了基于比率的模拟推理和基于随机梯度的变分推理之间的重要联系，将 Bayesian Optimal Experimental Design 方法扩展到 SBI 应用程序中，实现了实验设计和摊销推理函数的同时优化。

Jun, 2023