适应性汤普森抽样堆栈用于内存有限的开环规划

IJCAIJul, 2019

适应性汤普森抽样堆栈用于内存有限的开环规划

Adaptive Thompson Sampling Stacks for Memory Bounded Open-Loop Planning

Thomy Phan, Thomas Gabor, Robert Müller, Christoph Roch, Claudia Linnhoff-Popien

TL;DR提出一种名为 SYMBOL 的规划方法，该方法采用稳定但内存有限的方法处理部分可观测的开环规划，通过自适应使用 Thompson Sampling bandits 堆栈实现，适用于不需要先前领域知识和面向各种领域的问题，同时在四个大型 POMDP 基准问题中获得了良好的效果和稳健性能。

Abstract

We propose Stable Yet Memory Bounded Open-Loop (SYMBOL) planning, a general memory bounded approach to partially observable open-loop planning. SYMBOL maintains an adaptive stack of →

open-loop planning memory bounded approach adaptive memory consumption partially observable markov decision process thompson sampling bandits

发现论文，激发创造

使用汤普森抽样的有限内存开环规划解决大规模 POMDP 问题

提出了一种基于限制记忆的开环规划方法 —— 部分可观察堆叠 Thompson 采样（POSTS），用以解决大型 POMDP 问题中内存资源有限的问题，相较于传统的基于树的规划方法，该方法具有性能和内存之间的平衡，四个基准问题的实验表明 POSTS 具有较好的竞争表现。

May, 2019

通过乐观自适应规划将符号规划器和黑盒抽样器集成

该研究通过对 PDDL 的扩展，提出了一种解决高维连续变量中的机器人规划及其动力学、碰撞、可视化等限制条件的算法，并在三个机器人领域的仿真环境和多个现实机器人任务中进行了验证。

Feb, 2018

学习神经符号技能以进行双层规划

本研究中，通过将符号操作和神经采样器与参数化策略相结合，将它们打包成模块化的神经符号技能，并将其顺序化组合为搜索 - 采样二层任务和动作规划来解决新任务。在四个机器人领域的实验中，展示了具有神经符号技能的二层规划策略能够解决各种具有不同初始状态、目标和对象的任务，优于六个基线和消融。

Jun, 2022

学习未知马尔可夫决策过程：一种汤普森抽样方法

本文提出了一种基于贝叶斯的 Thompson Sampling 加持的动态时段算法 (TSDE)，尝试在无限的时间尺度内解决了一个学习未知 MDP 的问题，实现了很好的性能并达到了理论界限。

Sep, 2017

具有短期记忆的可证明强化学习

本文研究如何学习部分可观察的马尔科夫决策过程。通过构造一种特殊的子类 POMDP，它的隐状态可以通过历史的近期记录来解码。我们使用新颖的瞬时匹配方法，并建立了一组在表格和丰富观察设置下，学习这类问题的近优策略的样本复杂性的上下界，并证明了短期记忆对于这些环境的强化学习已经足够。

Feb, 2022

学习任务和动作规划的符号运算符

研究了 TAMP 中的运算符学习问题，提出了一种自下而上的关系学习方法来学习运算符，并将其应用于机器人规划中。实验结果表明，该方法在三个领域中的性能明显优于几个基线，包括最近文献中基于图神经网络的三种无模型方法。

Feb, 2021

对称性 alpha 稳定赌臂问题的汤普森采样

该文章重新考虑了 Thompson Sampling 算法在来自对称 α- 稳定分布的奖励下的应用，提出了一个有效的后验推断框架，证明了两种算法的有限时间遗憾界，并通过一系列的实验展示了 Thompson Sampling 在此环境中更强的性能。

Jul, 2019

带图反馈的随机赌博机的汤普森抽样

本研究介绍了一种新的 Thimpson Sampling 算法扩展，应用于带图反馈的随机顺序决策问题，甚至在图结构本身未知或者不断变化的情况下。通过对真实和模拟的具有图反馈的网络进行广泛的实验结果，可以说明该算法的性能优于使用上界置信度的相关方法，即使后者使用的图信息更多。

Jan, 2017

部分可观察情境下的汤普森抽样

基于观测数据的贝叶斯泰普森抽样策略成功地平衡了探索和利用，通过引入新的鞅技术和浓厚不等式解决了部分观测相关随机变量的问题，为研究其他具有上下文信息和部分观测的决策问题铺平了道路。

Feb, 2024

智能和适应后验采样算法用于二元选择

我们研究了基于 Thompson Sampling 的有界奖励随机赌博算法。为了解决现有的与高斯先验的 Thompson Sampling 相关的问题相关后悔界限在 T≤288e^64 时是虚无的问题，我们导出了一个更实用的界限，将主要项的系数从 288e^64 缩小到 1270。此外，我们提出了两种参数化的 Thompson Sampling 算法：带有模型聚合的 TS-MA-α 和带有时间战斗的 TS-TD-α，其中 α∈[0,1] 控制效用与计算之间的权衡。这两种算法都可以实现 O (Kln^(α+1)(T)/Δ) 的后悔界限，其中 K 是臂数量，T 是有限学习时段，Δ 表示拉动次优臂时的单轮性能损失。

May, 2024