NIPSMay, 2012

使用基于样本的搜索实现高效的贝叶斯自适应强化学习

PDF
TL;DR本研究提出了一种基于蒙特卡洛树搜索 (Monte-Carlo tree search) 的可行的、基于样本的近似贝叶斯最优规划方法，它避免了在搜索树中昂贵的应用贝叶斯规则，通过从当前信念中懒惰地抽样模型。实验证明，与以前的贝叶斯模型为基础的 RL 算法相比，在几个知名的基准问题上，我们的方法表现出了明显的优势。
发现论文，激发创造
  • 强化学习探索的贝叶斯抽样方法

    本文提出了一种使用贝叶斯模型不确定性的模块化强化学习方法，BOSS（Best of Sampled Set）。该方法通过从后验分布中抽取多个模型并乐观地选择行动来推动探索。我们展示了该算法在近乎最优的收益和高概率下的样本复杂度较低，远低于后验分布在学习过程中收敛的速度。我们示范了 BOSS 与一种横跨状态的非参数模型配对，表明它的灵活性。

    May, 2012

  • 学习即规划：通过蒙特卡罗树搜索实现接近 Bayes 最优强化学习

    使用前向搜索稀疏采样算法（FSSS）可以实现接近 Bayes 最优行为，从而使用 Monte-Carlo 树搜索算法有效地处理状态空间极大或无限大的马尔可夫决策过程（MDPs）。

    Feb, 2012

  • 大型结构化领域中的基于模型的贝叶斯强化学习

    本文提出一种基于模型的 Bayesian 强化学习框架，采用因式表示和在线规划技术来提高可扩展性，结合学习动态系统结构和参数，同时制定（近）最优动作序列。

    Jun, 2012

  • 基于模型内在动机的离策略学习与主动在线探索

    通过引入预测模型和离线学习元素，结合一个实用性较高的终端价值函数，本文研究了如何在连续控制任务中实现样本高效的探索能力。通过利用潜在状态空间内的前向预测误差，我们得出了一种不引入额外参数的固有奖励。该奖励与模型不确定性有强烈的关联，使得智能体能够有效地克服渐进性能差距。通过广泛的实验证明，我们的方法在与以往工作的比较中表现出有竞争力的甚至更优异的性能，尤其是在稀疏奖励的情况下。

    Mar, 2024

  • 贝叶斯探索网络

    贝叶斯强化学习在面对不确定性的顺序决策问题中提供了一种原则性和优雅的方法，但其主要挑战是在高维状态转移分布中建模不确定性的计算复杂性。本文提出了一种新颖的无模型方法来解决这个挑战，通过在一维贝尔曼算子中建模不确定性，引入贝叶斯探索网络 (BEN)，通过正态化流来建模贝尔曼算子中的不确定性，并通过变分推断来建模知识性不确定性，实验结果表明，BEN 可以在现有的无模型方法失败的任务中学习到真正的贝叶斯最优策略。

    Aug, 2023

  • 基于方差的奖励函数用于近似贝叶斯强化学习

    提出了一种基于后验概率分布的奖励加成方法，用于在 Bayesian RL 中解决探索与利用之间的困境，实现高效且有效的探索，能够利用结构化的先验知识，并证明其具有多项式样本复杂度。

    Mar, 2012

  • 强化学习中的无模型主动探索

    采用信息论的观点，我们研究强化学习中的探索问题，并提出了一种新颖的无模型解决方案，通过推导实例特定的下界以及最优的探索策略，我们衍生出一种基于集成模型的无模型探索策略，适用于表格和连续马可夫决策过程， 数值结果表明我们的策略能够比最先进的探索方法更快地找到高效的策略。

    Jun, 2024

  • 机器人操作中贝叶斯模型的主动探索

    通过积极学习方法和贝叶斯神经网络模型，提高机器人操纵的模型质量和数据效率，以应对复杂环境下的多任务处理挑战。

    Apr, 2024

  • 使用贝叶斯优化的本地政策搜索

    提出了一种基于概率模型的算法，结合了强化学习中的政策梯度方法和贝叶斯优化中的权衡充分利用已知信息选取样本的方法，实现了通过主动挑选样本来提高梯度估计的效果和减少样本复杂度，具有广泛的应用前景。

    Jun, 2021

  • 基于模型的贝叶斯探索

    本文论述的是如何在强化学习的算法中基于概率分布估算每个行动的信息价值，并选择能够平衡探索与利用的最佳行动。

    Jan, 2013