证明了当观察到的上下文具有足够的随机性时，贪心算法可以达到速率最优，并介绍了一种新的算法 Greedy-First，该算法仅使用观察到的上下文和奖励来确定是否按照贪心策略或探索策略，同时证明该算法在没有对上下文分布或手臂数量做任何其他假设的情况下具有速率最优的性质，并大量模拟结果表明，Greedy-First 成功地减少了探索并优于现有的基于 Exploration 的上下文 bandit 算法，如 Thompson sampling 或 upper confidence bound（UCB）。

Apr, 2017

本文是对背景上下文算法的一个全面的研究和综述，重点关注依靠监督学习的优化原则的实用方法，并利用大量的监督学习数据集进行了实证评估。研究发现，最近使用不确定性乐观主义的方法在整体上效果最好，其次是通过上下文多样性暗示进行探索的简单贪心基线。

Feb, 2018

该论文研究了一种新的上下文多臂赌博问题，其中玩家在每个时间步观察独立采样的上下文，以确定每个臂的平均回报，但播放一个臂会在未来的一定时间步内阻止它。作者提出了基于 UCB 的算法来解决这个问题，同时介绍了延迟利用和机会抽样的概念。

Mar, 2020

研究了在自利的情况下，三种常见的赌博算法 UCB, ε-Greedy 和 Thompson Sampling 对策略行为的适应性，为应用于经济学中的推荐系统提供了鲁棒的工具。

Jun, 2019

通过研究策略性代理商操控推荐系统以最大化推荐次数的现象，我们针对线性上下文赌博问题的策略变体进行研究，其中，策略可以误报私有观察到的上下文给学习者。我们将算法设计问题视为不确定性下的机制设计问题，并提出了乐观的致命开关机制（OptGTM），激励代理商（即臂）真实报告上下文，同时最小化遗憾。我们还表明，如果不考虑代理商的策略性质，将导致线性遗憾。然而，在机制设计和遗憾最小化之间存在一种权衡，这个研究旨在提供对在线学习和机制设计交叉领域的洞察。

Jun, 2024

本文提出了一个非线性深度学习框架，用于处理上下文多臂赌博机问题，并通过 Thompson sampling 方法来解决探索与开发的取舍。我们采用贝叶斯神经网络的权重后验分布来解决 dropout 和采样之间的联系，并通过自适应学习 dropout 率从而自动调整探索水平。在两个任务上，我们的方法相较于其他方法用于减少损失，并将其应用于 HubSpot 的市场优化问题。

Jul, 2018

本文研究线性情境赌徒算法问题，重新审视贪心算法的性能，通过平滑分析证明，即使情境可以由对手选择，对对手选择进行小干扰就足以实现 “无悔算法”，这表明在线性设置中，“普遍地”（即在稍微扰动的环境中）探索和开发不必在冲突。

Jan, 2018

该论文研究了对多臂赌博算法进行的对抗攻击，以操纵奖励信号以控制算法选择的行动，并提出了针对常见的两种多臂赌博算法 epsilon-greedy 和 UCB 的攻击方案。这种攻击是在不知道平均奖励的情况下进行的，并且攻击者所需的努力是对问题特定参数取对数，这个参数随着赌博问题变得越来越容易攻击而变小。结果表明，攻击者可以轻松地劫持多臂赌博算法的行为，以推广或阻止某些行动。由于多臂赌博算法在实践中的使用越来越广泛，因此我们的研究揭示了一个重大的安全威胁。

Oct, 2018

本文介绍了一种上下文赌博算法，它基于奖励估计置信度来检测环境变化并相应地更新其臂选择策略，而严格的上限遗憾分析证明了其在非平凡环境中的学习效果。

May, 2018

本文研究了恶意代理如何在 linear contextual bandit algorithm 上执行攻击，并提出了一种有效的算法来执行此攻击。

Feb, 2020