通过拉格朗日松弛和 Whittle 指数策略，本研究针对有限状态的多臂赌博机问题提出了一种解决方案，并使用值迭代算法验证了单臂赌博机的可指数性，讨论了在线掷骰策略和算法的计算复杂性，并通过数值实验证明，指数策略和掷骰策略优于短视策略。

Apr, 2023

研究了一类探索性多臂赌博问题，并通过建立指标化和获得 Whittle 指标，提高了 Whittle 指标策略的直接实施性，同时，研究发现 Whittle 指标策略与 “近视政策” 等价，因此具有半通用性，这导致 Whittle 指标策略是某些条件下最优的。同时，通过拉格朗日弛豫，开发了计算性能上限的有效算法，证明了 Whittle 指标策略接近最优。

Oct, 2008

本论文探讨了不安定多臂赌博机的规划问题，提出了一种基于均场方法的规划算法来获得近似最优策略。通过实验分析，该算法在实际应用中表现优异且无需外部超参数。

Oct, 2022

本文研究了在 Whittle 渐近制度下，针对具有多个拉动次数的有限时间不安定老虎机问题的指数政策和流体优先政策等解法，并在数字实验中证明了流体优先策略的较优性。

Jul, 2021

这篇论文介绍了作者在研究动态优先级分配的多个随机项目的困难算法和应用上所做的工作，主要集中于无休止劫匪索引的理论和算法方面，采用线性规划、经济学和多目标优化方法。MPI 政策是在多项目环境中经济合理的，并且 MPI 指数策略通常实现近乎最优的性能，远优于使用传统方法衍生的基准策略。

Apr, 2023

该研究提出了一种基于拉格朗日松弛法的单臂问题集合的无休止多臂赌博机指数策略，利用模拟证明其表现优于现有启发式方法。

Jul, 2017

通过建立一般的概率模型，我们考虑了一种对无休止多臂赌博问题的观测模型。我们将该问题建模为一个拥有可数信念状态空间的无休止赌博问题，并应用了可实现区域方法和部分守恒定律分析其可索引性和优先指数（Whittle 指数）。最后，我们提出了一个近似过程来将问题转化为可以应用于有限状态问题的 Niño-Mora 和 Bertsimas 的 AG 算法。数值实验表明，我们的算法表现出色。

Jul, 2023

我们提出了一种新的策略，该策略通过维护两个动态武器子集来解决离散时间无限视界平均奖励不安定强盗问题，其中一个子集具有近乎最优的状态分布并根据最优局部控制例程采取行动；另一个子集被驱向最优状态分布并逐渐合并到第一个子集中。我们证明了我们的策略在满足周期性 - 单链、非退化性和局部稳定性等温和假设的情况下在 N 臂问题中是渐进最优的，并且具有 O (exp (-C N)) 的最优性差距。我们的策略是首个在上述易于验证的假设集下实现指数渐近最优性的方法，而先前的工作要么需要强全局吸引子假设，要么仅实现了 O (1/sqrt (N)) 的最优性差距。我们进一步讨论了在显著减弱假设的基础上面临的基本障碍。特别地，我们通过证明一个下界，证明了局部稳定性对于指数渐近最优性是必要的。

May, 2024

研究了随机截止时间调度问题，提出了一种约束马尔科夫决策过程模型，该模型中工作随机到达，具有随机作业大小、奖励和完成期限。该服务提供商面临随机处理成本、凸非完成罚款和容量约束，以限制工作的同时处理。将随机截止时间调度问题建立为一个不安定的多臂赌博机问题，表明其可指标化。当处理成本为常量时，获得了 Whittle 指数的闭式表达式。获得了 Whittle 指数策略的最优解上限，并表明随着职位到达率和可用处理器数量同时增加到无限大，上限收敛于零。

Oct, 2016

讨论了一种无法使用贪心指数算法求解的 Feedback MAB 问题，开发出了一种新颖并且通用的双重算法技术，可为不少于 1+epsilon 的解提供 2+epsilon 的近似值，这个技术同样适用于其他不特定的喧闹强盗问题和 POMDP。

Nov, 2007