Nov, 2023

基于最优模拟的贝叶斯决策

PDF
TL;DR通过学习预期效用（或其分布）作为动作和数据空间的函数的代理模型，我们提出了一个高效计算在难以计算的似然函数下的最优贝叶斯决策的框架。我们利用基于模拟的推断和贝叶斯优化的最新进展，开发了主动学习方案来选择参数和动作空间中要模拟的位置，从而尽可能少地进行模拟来学习最优动作。该框架非常高效，通常需要的模型调用次数比相关的后验推断任务少，并且比基于蒙特卡洛方法的方法高出 100-1000 倍。我们的框架为进行贝叶斯决策提供了新的能力，特别是在似然函数难以处理且模拟昂贵的挑战性领域。
发现论文，激发创造
  • 基于摊还的贝叶斯决策模拟建模

    该研究利用基于仿真的推断方法解决了如何在随机模拟器上进行贝叶斯决策，并且通过训练神经网络预测期望成本，以推断具有最低成本的行动。

    Dec, 2023

  • BayesSim：机器人模拟器的自适应领域随机化及概率推断

    BayesSim 是一个机器人模拟框架，采用贝叶斯处理参数不确定性，可以用于解决动作规划和感知问题。通过在未知参数的基础上对黑匣子模拟器进行无似然推断，可以获得后验分布，并用于模拟现实情况。实验表明，BayesSim 的效果比基于均匀先验随机的方法更加优秀。

    Jun, 2019

  • 基于贝叶斯优化的基于模拟器的统计模型无似然推断

    研究推断基于模拟器的统计模型，提出了结合概率建模和优化的策略来加速无似然推断方法，实现了对几个数量级所需模拟次数的削减。

    Jan, 2015

  • 使用耦合辅助模型和多元仿真的贝叶斯实验设计：面对难以处理的似然模型

    提出一种基于多元高斯过程模拟和 Copula 方法相结合的策略，用于寻找涉及参数估计和模型比较实验目标的困难似然模型的 Bayesian 设计。

    Mar, 2018

  • 使用基于样本的搜索实现高效的贝叶斯自适应强化学习

    本研究提出了一种基于蒙特卡洛树搜索 (Monte-Carlo tree search) 的可行的、基于样本的近似贝叶斯最优规划方法，它避免了在搜索树中昂贵的应用贝叶斯规则，通过从当前信念中懒惰地抽样模型。实验证明，与以前的贝叶斯模型为基础的 RL 算法相比，在几个知名的基准问题上，我们的方法表现出了明显的优势。

    May, 2012

  • 基于模型的贝叶斯探索

    本文论述的是如何在强化学习的算法中基于概率分布估算每个行动的信息价值，并选择能够平衡探索与利用的最佳行动。

    Jan, 2013

  • 虚拟与现实：贝叶斯优化在强化学习中平衡模拟与实验

    本文提出了一种基于贝叶斯优化算法的方法，通过利用来自仿真的先验知识，自动将仿真数据和实验数据相结合以更有效地找到良好的控制策略，从而减少实验次数和成本。

    Mar, 2017

  • 从隐式模型中挖掘金子，以改善无似然推理

    介绍了一种新型的基于模拟的推断技术，在高维情况下，这种技术超越了传统的近似贝叶斯计算方法，并扩展了基于神经网络的代理模型的方法，并演示了这些新技术比传统方法更具样本效率和提供更高保真度的推断。

    May, 2018

  • 学习即规划：通过蒙特卡罗树搜索实现接近 Bayes 最优强化学习

    使用前向搜索稀疏采样算法（FSSS）可以实现接近 Bayes 最优行为，从而使用 Monte-Carlo 树搜索算法有效地处理状态空间极大或无限大的马尔可夫决策过程（MDPs）。

    Feb, 2012

  • 基于贝叶斯推断的数据有效性、可解释性和安全性机器人运动规划：综述

    本文系统研究了贝叶斯推断法在机器人运动规划中的应用，重点讨论了策略、训练数据及其在实际任务中的应用。

    Jul, 2023