在该研究中，我们考虑了一个顺序随机多臂赌博问题，在多个回合中，代理与赌博机进行交互。臂的奖励分布在一个回合中保持不变，但在不同回合中可能发生变化。我们提出了一种基于 UCB 算法的方法，用于传输来自先前回合的奖励样本，并改善所有回合中的累积遗憾表现。我们对该算法进行了遗憾分析和实证结果，结果显示与无传输的标准 UCB 算法相比有明显的改进。

Mar, 2024

本文研究了一种名为 “部分信息” 的在线学习模型，提出了多种算法，通过信息反馈结构的组合特性，给出了紧密的遗憾界限。

Sep, 2014

本研究调查和综合了在线统计学习范例 —— 称为多臂赌博机的领域，作为在线实验的某一类资源。我们首先探讨了传统的多臂赌博机的随机模型，然后探讨了复杂模型的分类模式，针对每种模型的复杂性与实验设计背景下的特定要求或考虑进行了说明。最后，我们提供了所有研究算法已知上限遗憾表格的决策工具，为未来理论工作提供了两方面的视角。

Oct, 2015

本研究旨在探讨如何设计强化学习代理，通过从之前解决的任务中转移知识，明确减少学习新任务的样本复杂度。具体地，本文关注第二种目标，即当代理具有状态行为对的生成模型时，如何快速识别最精确的解法。我们将转移设置降至一个隐马尔可夫模型，并使用谱方法从中恢复其参数。最后，我们在简单的模拟领域中实证了我们的理论发现。

Jul, 2020

研究多人合作多智能体赌博问题，提出一种新的多人合作环境，并利用分散式演算法促进代理之间的合作，推导每个代理的累积遗憾度和群体的遗憾度上下限，并证明了该算法的近似最优行为。

May, 2023

介绍了一种新的多任务算法用于强化学习任务，该算法显着减少了探索的每个任务的样本复杂性，并保证不会出现负转移，与对应的单任务算法相比具有可比性。

Sep, 2013

我们研究了线性环境中上下文臂中的顺序批处理学习问题，其中决策者被限制将个体分成（至多）固定数量的批处理，并且只能在批处理结束时观察批处理内的个体的结果。我们研究了问题的两种设置：一种是上下文是任意生成的，另一种是上下文是从某个分布中 iid 抽取的。在每个环境下，我们确定了遗憾下界，并提供了一个算法，其遗憾上界几乎与下界相匹配。

Apr, 2020

本研究针对具有相似但不完全相同的多臂赌博机环境中的在线多任务学习问题，研究了如何通过知识的健壮传递从而提高学习器在多个相关任务上的整体性能。我们提出了一种 TS 类型算法，对其进行了经验分析，并证明了它是几乎最优的。最后，我们将算法在合成数据上进行了评估，证明了 TS 类型算法在与基准算法和 UCB 算法的比较中具有卓越的经验性能。

Jun, 2022

强化学习中，研究任务间具有变化时，通过最小化后悔累积可以实现更好的结果，即在每个任务中过度探索，尤其在任务之间出现重大变化时。

Mar, 2024

研究随机多臂老虎机问题的性质和限制，探讨具有在线探索特性的预测器的表现，其中简单后悔被评估，讨论简单后悔与累计后悔的关系，在有限臂数的情况下展示了一种性能下限和预测器的上限后悔，并针对连续老虎臂问题进行了研究。

Feb, 2008