本文考虑在延迟反馈下的敌对多臂老虎机问题，并分析了一些通过仅使用决策时可用的信息 (关于损失和延迟) 来调整步长的 Exp3 算法变体，从而获得适应观察到的 (而不是最坏情况下的) 延迟和 / 或损失序列的遗憾保证。最后，我们介绍了 AdaGrad 风格的版本的算法，该算法通过观察到的 (延迟的) 损失进行适应，而不仅仅是适应于累积延迟 (该算法要求先验上限）。

Oct, 2020

该论文研究了多臂赌博问题和赌博凸优化问题中存在的未知延迟反馈问题，并开发了应对这种情况下的延迟探索、利用和指数迭代（DEXP3）和延迟赌博梯度下降（DBGD）算法。通过统一的分析框架，证明了 DEXP3 和 DBGD 算法的性能优越。

Jul, 2018

对抗性多对决赌博机中的后悔最小化问题进行了介绍，并引入了一种新算法 MiDEX（Multi Dueling EXP3）来学习来自成对子集选择模型的偏好反馈。证明了 MiDEX 相对于从 K 个臂中选择 Borda 赢家的累计 T 轮后悔的期望上界为 O ((KlogK)^{1/3} T^{2/3})，同时证明了在该设置下预期后悔的下界为 Ω(K^{1/3} T^{2/3})，表明我们提出的算法是接近最优的。

Jun, 2024

提出了 REX3 算法来解决多臂对决问题中对于选择一对臂进行相对反馈而不是绝对反馈的问题，算法具有 O (sqrt (K ln (K) T)) 的期望有限时间遗憾上界，同时提供了从信息检索应用程序中使用真实数据的实验结果。

Jan, 2016

本文研究带有延迟反馈的多臂老虎机问题，证明了先前的算法在延迟是变量但有上界的情况下具有较好的表现，提出了一种新算法通过一个跳过具有过度大延迟的步骤的 wrapper 来降低了对上界的要求，同时构造了一种新的加倍方案，从而放宽了对时间和延迟知识的要求。提出的算法解决了丰富的应用场景问题并达到了合理的预期表现。

Jun, 2019

提出了两种多用户多臂赌博机算法框架，分别适用于随机环境和对抗环境下无协调频谱访问问题。算法可在不知道用户数量的情况下，通过估计和分配两个阶段实现高概率下的常数系统累积失误和次线性系统累积失误，并能够处理用户数量随时间改变的动态问题。

Jul, 2018

本文提出了一种结合拉普拉斯机制和 EXP3 的算法，在对抗性赌徒环境中实现 ε 差分隐私，并将最佳已知遗憾界从 O (T^(3/4)) 提高到了 O (T^(2/3))，同时达到了 O (√T ln T/ε) 的决策精度，其在自适应对手中具有良好的鲁棒性，并进行了实验验证。

Jan, 2017

本文研究具有端到端赌博反馈的多阶段系统，提出了分布式在线学习算法，以在对抗环境中实现次线性遗憾。

Apr, 2024

本文介绍了一种新的针对多臂赌博机随机算法的间隙估计策略，并将其与 Seldin 和 Slivkins（2014）的 EXP3 ++ 算法相结合。在随机情况下，该策略将遗憾的依赖于时间跨度从（ln t）3 降低到（ln t）2，并消除问题实例最小间隙 Δ 纯量的一个乘性因子 e1/Δ2。在对抗性的情况下，遗憾保证保持不变。

Feb, 2017

该研究探讨具有随机延迟的随机多臂赌博问题，在考虑了奖励相关延迟和奖励无关延迟两种情况下，提出了接近最优的算法，并在延迟分布的分位数上增加了附加依赖性，而不需要假设延迟分布来自任何参数化的分布族，还允许无限延迟的情况。

Jun, 2021