Oct, 2021

感性良好的汤普森取样在上下文臂和强化学习中的应用

PDF
TL;DR本文提出了一种改进的 Thompson Sampling 策略，在 frequentist 问题的设置下，通过理论分析及感性解释说明了如何缓解 TS 策略中探索不够的缺陷，并提供了 Bayesian Regret Bounds for TS 和 frequentist regret bounds for Feel-Good TS 的理论证明。基于在线最小二乘回归估计，使用在线聚合技术可以直接获得频率分析中的在线最小二乘回归估计回归界限，得到了与最小值下限的匹配，同时，该分析可以推广到一类线性嵌入式上下文匹配问题。
发现论文，激发创造
  • 上下文广告带中的广义汤普森采样

    本文提出一种名为广义 Thompson Sampling 的新算法，将其作为专家学习框架下的一种启发式算法，其包括 Thompson Sampling 作为其特殊情况，并派生了一般性遗憾界，将其应用到广泛的情境性算法中，量化 “先验” 分布对遗憾界的影响。

    Oct, 2013

  • 上下文决斗赌徒的良好感知汤普森抽样

    提出了适用于线性上下文对抗性对决带的一种名为 FGTS.CDB 的汤普森抽样算法，最小化遗憾，并在合成数据上证明比现有算法表现优秀。

    Apr, 2024

  • 基于线性回报的情境型贝叶斯 - 汤普森抽样算法

    本文设计和分析了一种基于贝叶斯思想的 Thompson Sampling 算法泛化版本，用于解决带有线性收益函数的随机上下文多臂老虎机问题，同时提供了该算法的第一理论保证，得到了最佳遗憾保证。

    Sep, 2012

  • 具有子高斯奖励的上下文强盗问题的 Thompson 抽样遗憾边界

    本文基于 Neu 等人引进的抬升信息比率，研究 Thompson Sampling 算法在情境赌博问题中的性能，并证明了李环境参数和历史的互信息的综合界限，并提出适用于亚高斯奖励子集的抬升信息率新界限，推广了 Neu 等人的研究，最后为无结构有界情境赌徒、带有拉普拉斯似然函数的结构有界情境赌徒、有界线性情境赌徒和结构性伯努利赌徒提供了明确的后悔界限。

    Apr, 2023

  • 部分可观察情境下的汤普森抽样

    基于观测数据的贝叶斯泰普森抽样策略成功地平衡了探索和利用，通过引入新的鞅技术和浓厚不等式解决了部分观测相关随机变量的问题，为研究其他具有上下文信息和部分观测的决策问题铺平了道路。

    Feb, 2024

  • 进一步优化 Thompson Sampling 算法的后悔上界

    使用贝叶斯方法的随机算法 Thompson Sampling 在多臂赌博问题中表现显著，本文提供了一种新的悔恨分析方法，同时证明了该算法在期望后悔上的问题特定界限和问题独立界限，方法简单且可适用于更广泛的 contestual bandits 设置。

    Sep, 2012

  • 时间敏感型贝叶斯优化多臂赌博机学习

    该文研究了在具有时间偏好的情况下的强化学习中，使用折扣累计损失代替累计损失，使用改进的 Thompson 抽样算法得到较强的解决方案。

    Apr, 2017

  • 一种可证明有效的无模型后验采样方法，用于情节强化学习

    本文提出了一种新的模型无关后验采样的公式，适用于更广泛的周期性强化学习问题，并通过新颖的证明技术，展示了在适当条件下，我们的后验采样方法的最坏后果可以与基于优化的方法的最优结果相匹配，尤其是在线性 MDP 设置中，我们的算法产生的遗憾与现有基于后验采样的探索算法相比，随着维度线性增长而非二次依赖。

    Aug, 2022

  • 基于信息论的噪声上下文随机赌博机的汤普森抽样算法的遗憾分析

    我们研究了一种随机情境线性赌博机问题，代理人通过一个未知噪声参数的噪声信道观察到真实情境的有噪声、损坏的版本。我们的目标是设计一种行动策略，可以近似一个能够获取奖励模型、信道参数以及根据观察到的有噪声情境从真实情境得到预测分布的神谕的行动策略。我们在贝叶斯框架下引入了一种基于高斯情境噪声的汤普森采样算法。采用信息论分析，对于神谕的行动策略，我们证明了该算法的贝叶斯遗憾。我们还将这个问题扩展到当代理人在接收到奖励之后，以一定延迟观察到真实情境的情景，并展示了延迟真实情境会导致更低的贝叶斯遗憾。最后，我们通过与基准算法进行实证研究，展示了所提出算法的性能。

    Jan, 2024

  • PG-TS：逻辑上下文多臂赌博机的改进汤普森抽样

    本文提出了改进的 Polya-Gamma 配分的 Thompson Sampling 算法（PG-TS），通过使用一种快速推理程序，它可以解决逻辑上下文 bandits 的遗憾最小化问题，通过对环境特征协方差的后验分布的明确估计，能够使得 PG-TS 在类似情形下较传统算法快速收敛。

    May, 2018