上下文关注的赌博机：具有限制上下文的上下文赌徒

IJCAIMay, 2017

上下文关注的赌博机：具有限制上下文的上下文赌徒

Context Attentive Bandits: Contextual Bandit with Restricted Context

Djallel Bouneffouf, Irina Rish, Guillermo A. Cecchi, Raphael Feraud

TL;DR该论文探讨了一种新颖的 “限制上下文条件下的上下文赌博机” 模型，其中将 Thompson 抽样算法用于处理固定状态和非固定状态，该方法在临床试验、推荐系统和注意力建模中有较大应用。实验证明了提出方法在多个真实数据集上优势明显。

Abstract

We consider a novel formulation of the multi-armed bandit model, which we call the contextual bandit with restricted context, where only a limited number of features can be accessed by the learner at every iterat

contextual bandit multi-armed bandit thompson sampling clinical trials recommender systems

发现论文，激发创造

上下文阻塞赌博机

该论文研究了一种新的上下文多臂赌博问题，其中玩家在每个时间步观察独立采样的上下文，以确定每个臂的平均回报，但播放一个臂会在未来的一定时间步内阻止它。作者提出了基于 UCB 的算法来解决这个问题，同时介绍了延迟利用和机会抽样的概念。

Mar, 2020

多任务学习用于情境赌博机

本文提出了一个基于上限置信区间的多任务学习算法框架，用于处理具有高任务相似性的上下文型臂带问题，并揭示了此算法在数据中高任务相似性的优势。

May, 2017

非静态环境下学习上下文臂

本文介绍了一种上下文赌博算法，它基于奖励估计置信度来检测环境变化并相应地更新其臂选择策略，而严格的上限遗憾分析证明了其在非平凡环境中的学习效果。

May, 2018

多臂老虎机实验中的适应性和混淆

本篇论文研究以往文献未解决的问题，提出了一种新的基于 Thompson 采样的算法（被称为去混淆 Thompson 采样），该算法在易于稳定的情况下发挥优越效率，在困难的不稳定情况下也表现出出人意料的韧性，可在具有不稳定上下文影响的武器性能的智能探险算法中应用。

Feb, 2022

资源丰富的情境臂控制器

我们设计了第一个算法来解决具有资源限制的情境赌博问题，包括具有任意策略集的情境赌博和背包式赌博，并证明了具有接近最优统计属性的遗憾保证。

Feb, 2014

部分可观察情境下的汤普森抽样

基于观测数据的贝叶斯泰普森抽样策略成功地平衡了探索和利用，通过引入新的鞅技术和浓厚不等式解决了部分观测相关随机变量的问题，为研究其他具有上下文信息和部分观测的决策问题铺平了道路。

Feb, 2024

多臂情境赌博机的变分推断

利用变分推理方法，克服了 Thompson sampling 算法在模型设计和复杂性上的局限性，为复杂环境下的强化学习问题提供了可靠的解决方案。

Sep, 2017

基于线性回报的情境型贝叶斯 - 汤普森抽样算法

本文设计和分析了一种基于贝叶斯思想的 Thompson Sampling 算法泛化版本，用于解决带有线性收益函数的随机上下文多臂老虎机问题，同时提供了该算法的第一理论保证，得到了最佳遗憾保证。

Sep, 2012

具备辅助安全限制的上下文强盗问题的汤普森抽样

本文提出了一种新的 Thompson sampling 算法来处理有多个竞争目标和辅助约束的情景下的多结果上下文强化学习问题，并使用贝叶斯优化提供了在实践中导航安全性和性能权衡的方法。

Nov, 2019

用于上下文强化学习问题的神经网络委员会

本文提出了一种新的上下文强化学习算法 NeuralBandit，它不需要对上下文和奖励的稳定性提出假设。该算法使用多个神经网络来建模上下文的价值，并提出了两种基于多专家方法的变体来在线选择多层感知器的参数。该算法在大型数据集上进行了测试，包括奖励稳定和不稳定的情况，并取得了成功的效果。

Sep, 2014