我们提出了一种新算法 NeuralUCB 来解决随机上下文的赌博机问题，它利用了深度神经网络的表达能力并使用基于神经网络的随机特征映射来构建奖励的上界，证明了该算法能够在一些基准测试中具有实际竞争力且能够保证近乎最优的回报保证。

Nov, 2019

我们研究了线性环境中上下文臂中的顺序批处理学习问题，其中决策者被限制将个体分成（至多）固定数量的批处理，并且只能在批处理结束时观察批处理内的个体的结果。我们研究了问题的两种设置：一种是上下文是任意生成的，另一种是上下文是从某个分布中 iid 抽取的。在每个环境下，我们确定了遗憾下界，并提供了一个算法，其遗憾上界几乎与下界相匹配。

Apr, 2020

提出了基于神经网络的算法 (NN-UCB) 来解决序列决策中的上下文强化学习问题，证明了该算法的后悔值可以和使用 NTK-UCB 算法等价。

Jul, 2021

基于批处理约束条件的非参数上下文强化学习中，我们提出了批处理连续性排除和动态分箱 (BaSEDB) 算法，实现了最优的后悔值，通过动态地将协变量空间分割成较小的箱子，并将其宽度与批量大小相匹配，强调了静态分箱的次优性以及在完全在线设置中需要几乎恒定次数的策略更新来实现最优的后悔值。

Feb, 2024

简要摘要：本文研究小批量策略下随机赌博机问题的后悔，提出一种简单策略并证明合理情况下批量数量很小即可达到极小极大后悔度界限，同时推导得到低转换成本下的最优随机赌博机策略。

May, 2015

本篇论文介绍了联邦神经 - 上置信区间算法 (FN-UCB)，该算法采用两个上界置信区间 (UCB) 的加权组合，以更好地利用联合设置，并证明了 FN-UCB 的累积后悔和通信轮数上限。

May, 2022

本文提出了一种新的上下文强化学习算法 NeuralBandit，它不需要对上下文和奖励的稳定性提出假设。该算法使用多个神经网络来建模上下文的价值，并提出了两种基于多专家方法的变体来在线选择多层感知器的参数。该算法在大型数据集上进行了测试，包括奖励稳定和不稳定的情况，并取得了成功的效果。

Sep, 2014

提出了一种综合的公式，通过利用上下文组合多臂赌博机来解决对话中的各种问题，包括探索与开发困境和处理大范围行动空间。通过 NegUCB 方法，在回报函数没有约束的情况下，解决了部分观察和复杂回报函数的常见问题，并在三个对话任务上进行的实验证明了该方法的优越性。

Jun, 2024

本文考虑了分布保持不变，但在未知时间发生改变的非稳态赌徒问题，研究了两种算法：折扣上限置信区间和滑动窗口上限置信区间，并通过 Hoeffding 不等式得到了后者的上界，对不优的赌博机被玩的次数期望进行了上界估计并证明了存在性突然性改变时的遗憾下界，证明了折扣上限置信区间和滑动窗口上限置信区间的匹配下界一致性。

May, 2008

通过构建神经协同过滤自适应组 Metaban 算法，本文将人工智能中的探究与利用困境（exploitation-exploration dilemma）应用于定制化推荐，并在实验中将 Metaban 与六种模型进行对比，结果表明 Metaban 显著优于其他模型的表现。

Jan, 2022