本文考虑带有 Bandit 反馈的序贝叶斯优化问题，采用了允许奖励函数随时间变化的公式。我们使用高斯过程对奖励函数进行建模，并介绍了高斯过程 UCB 算法的两个自然扩展。我们的主要贡献是这些算法的新颖遗憾界，提供了时间跨度和函数变化率之间权衡的明确刻画。我们在合成数据和实际数据上展示了算法的性能，并发现 TV-GP-UCB 的逐渐遗忘效果比 R-GP-UCB “尖锐重置” 更好，而且两种算法都显著优于传统的高斯过程 UCB 算法，因为它将陈旧数据和新数据视为平等。

Jan, 2016

本文提出了两种基于高斯过程的算法 - 改进的 GP-UCB（IGP-UCB）和 GP-Thomson 采样（GP-TS），并给出了相应的遗憾边界，在连续的臂集上解决了随机赌徒问题。当期望奖励函数属于复制核希尔伯特空间（RKHS）时，边界成立。在实验评估和对合成和真实世界环境中现有算法的比较中，突出了所提出策略的优势。

Apr, 2017

通过多臂赌博机问题和高斯过程来解决在优化一个未知、嘈杂及难以评估的函数的问题。我们在这个问题上得到了遗憾界，建立了高斯过程优化和实验设计之间的联系。通过实验，我们证明了 GP-UCB 可以优于其他启发式高斯过程优化方法。

Dec, 2009

本文提出了两个基于深度神经网络的组合赌博算法：CN-UCB 和 CN-TS，它们是首个在组合赌博问题中实现遗憾性能保证的算法。通过数值实验，证明了我们的算法有更好的性能。

May, 2023

研究了具有全局背包限制条件下的上下文多臂赌博问题，提出了一种计算效率更高、后悔更低的算法，复杂度与策略空间的大小成对数关系，并将结果推广到一种没有背包限制但目标是任意 Lipschitz 凹函数的变体。

Jun, 2015

本研究探讨具有因果关系奖励的分段稳定组合半强盗问题，在我们的非稳态环境中，基本臂的分布变化，奖励之间的因果关系，或者二者同时改变了奖励生成过程。我们提出的算法在复杂环境中具备优越的应用性能。

Jul, 2023

该论文研究了如何在贝叶斯全局优化中利用并行算法解决多臂赌博问题，提出了基于高斯过程的 GP-BUCB 算法，证明了与串行方法相比，该算法的累积遗憾仅增加一个独立于批量的常数因子，并在两个真实世界应用中展示了其有效性。

Jun, 2012

我们提出了一种新颖的组合性随机贪婪的赌博算法 (SGB)，用于组合多臂赌博问题。该算法在没有额外信息的情况下，仅观察到每个时间步 t∈[T] 时选择的一组 n 个臂的联合奖励。SGB 采用了一种优化的随机探索再确认的方法，并且专门设计用于具有大量基本臂的情景。与现有方法在每个选择步骤中都会探索整个未选择基本臂集不同，我们的 SGB 算法仅对未选择的臂进行优化比例的抽样，并从该子集中选择行动。我们证明了对于单调随机次模性奖励，我们的算法实现了 (1-1/e) 的遗憾边界，其复杂度为 O (n^(1/3) k^(2/3) T^(2/3) log (T)^(2/3))，在基数约束 k 方面优于最先进的方法。此外，我们在在线受限社交影响最大化的背景下对我们的算法进行实证评估。我们的结果表明，我们提出的方法始终优于其他算法，并且随着 k 的增长，性能差距也增大。

Dec, 2023

本文研究了一种直接利用未知函数 argmax 估计值的优化策略，并与 GP-UCB 和 GP-PI 策略建立了紧密联系。该方法的自动适应调整探索和利用的权衡，在机器人和视觉任务的广泛实证评估中表现出鲁棒性，通过性能 - 遗憾的界限说明了自适应调整的效果。

Oct, 2015

本文提出了一个形式化的模型，该模型可以最大化人类决策过程在多臂赌博问题中的表现，并使用贝叶斯推理估算回报值，得出了对多臂赌博问题的标准解决方案，以及在图中的解决方案，其中开发了 UCL 算法，它实现了对数累积期望遗憾并表现出良好的性能。

Jul, 2013