在线决策的自适应基础模型：具有快速增量式不确定性估计的超级智能体
我们设计了一种渐近上限最优算法，并充分利用线性结构和精确探索，从而减少了在多种合理情境下的失算，数值结果表明，与其他基准算法相比，我们的方法大大减少了失算。
Oct, 2019
该论文考虑了具有普适性假设的（随机性）上下文赌博问题，设计了一种快速、简单的算法，在所有$T$回合中通过对离线回归神谕的$logT$次调用实现了统计优化遗憾。我们的结果提供了第一个从上下文赌徒到离线回归的通用和最优化简化，解决了上下文赌徒文献中的一个重要开放问题。我们的结果表明，离线回归中的任何进展都将立即在上下文赌客中进行统计和计算翻译。
Mar, 2020
本研究提出了一种基于在线随机梯度下降的广义线性赌博机算法，它使用单步SGD更新来利用过去的信息并使用汤普森抽样实现探索，能够在探索与利用之间取得平衡，在合成和实际数据集上始终优于现有算法，其总时间复杂度为T和d的线性比例，其中T是总轮次数，d是特征数量，并实现了O（T）的遗憾，其中T是回合数。
Jun, 2020
这篇论文研究在线决策问题，通过采用上下文乐队it，并建立奖励模型来进行长期奖励最大化。 使用估计模型参数的OLS和WLS方法来处理该问题，借助中心极限定理证明了参数的渐近正常性。同时，我们还通过实验验证了我们的结论。
Oct, 2020
提出了一种平滑遗憾函数的背景自适应算法，可用于大量或连续动作空间下的通用背景自适应问题，并能适应各种光滑度级别的问题，取得了先前优化遗憾函数的最优性保证。
Jul, 2022
本文提出了第一个在线连续超参数调整框架，即CDT框架，用于学习最佳超参数配置，可以在不预设候选超参数组合的情况下调整上下文bandit算法，其中使用Zooming TS算法进行探索和重启技术来避免环境切换，并提供更好的实验结果。
Feb, 2023
本文介绍了一个Auto-GPT样式的决策制定任务的综合基准研究，比较了GPT-4、GPT-3.5、Claude和Vicuna等流行的LLMs的性能，并介绍了一种称为Additional Opinions算法的易于实现的学习方法，可显著提高在线决策基准测试的性能，包括WebShop和ALFWorld。
Jun, 2023
我们考虑了上下文强盗问题，在每个时间点上，代理只能访问上下文的嘈杂版本和误差方差（或该方差的估计）。我们提出了第一个在线算法，与适当的基准相比，在此设置中具有亚线性遗憾，其关键思想是将经典统计中的测量误差模型延伸到在线决策情境中，这是一个非常复杂的问题，因为策略依赖于嘈杂的上下文观察。
Jul, 2023
我们研究了一种随机情境线性赌博机问题，代理人通过一个未知噪声参数的噪声信道观察到真实情境的有噪声、损坏的版本。我们的目标是设计一种行动策略，可以近似一个能够获取奖励模型、信道参数以及根据观察到的有噪声情境从真实情境得到预测分布的神谕的行动策略。我们在贝叶斯框架下引入了一种基于高斯情境噪声的汤普森采样算法。采用信息论分析，对于神谕的行动策略，我们证明了该算法的贝叶斯遗憾。我们还将这个问题扩展到当代理人在接收到奖励之后，以一定延迟观察到真实情境的情景，并展示了延迟真实情境会导致更低的贝叶斯遗憾。最后，我们通过与基准算法进行实证研究，展示了所提出算法的性能。
Jan, 2024