通过利用特定问题设置的几何性质，我们为分离良好的问题实例和有限星凸集的行动集提供了改进的遗憾保证。此外，我们提出了一种新的算法，该算法在选择问题参数时自适应，并且至少与现有算法具有相同的遗憾保证。最后，我们引入了安全线性贝叶斯设定的一个概括，其中约束是凸的，并通过一种基于凸分析的方法利用我们的算法和分析。模拟结果显示在各种随机抽样的设置中相对于现有算法的性能有所提升。

Aug, 2023

本文提出了一种基于 UCB 策略的新算法 Safe-LUCB，用于解决多臂赌博问题中考虑安全限制的约束，该算法具有探索和利用两个阶段，并控制遗憾值增长，提供了一般遗憾上界及与最佳行动位置有关的问题相关遗憾上界。

Aug, 2019

本文提出了两种渐近最优的算法，基于 Track-and-Stop 方法和博弈论方法，用于寻找多臂赌博机环境中具有一定置信度的最优策略，特别考虑了带有线性约束的情况，并探讨了约束难度对问题的影响。

Jun, 2023

带限界凸优化是研究零阶凸优化的基本框架。这篇论文涵盖了解决此问题的许多工具，包括切平面法、内点法、连续指数权重、梯度下降和在线牛顿步。解释了许多假设和设置之间的细微差别。虽然没有太多真正新颖的东西，但一些现有工具以新颖的方式应用，得到了新的算法。一些边界有些改进。

Feb, 2024

本文研究非凸奖励的赌博机问题，提出了一种适用于一类具有非凸奖励函数的赌博机算法，通过统一的零阶优化范式达到了多项式设置下的最优速率，并在生成模型的 RL 中实现了算法的应用，从而取得了比之前方法更好的样本复杂度。

Jul, 2021

本文研究了在线凸优化的问题，在该问题中，决策者是风险规避的。我们提供了两个算法来解决这个问题。第一个是降落算法，易于实现。第二个算法结合了椭圆体方法和中心点装置，对于回合数实现了（几乎）最优的后悔界限。据我们所知，这是在在线凸博弈问题中首次尝试解决风险规避问题。

Oct, 2018

在这篇论文中，我们提出了一种广义的勘探 - 开发权衡模型，该模型允许在时间序列上对任意凹奖励和凸度约束进行决策，并对时间范围进行规定。我们证明了一种用于 MAB 的 UCB 系列算法自然而简单的扩展，提供了一个具有近乎最优的后悔保证的多项式时间算法，满足 Badanidiyuru 等人给出的 BwK 特殊情况下的边界，这一点非常惊人。此外，我们还通过建立此问题与其他研究领域中好的算法之间的有趣联系，提供了更高效的算法。

Feb, 2014

本文针对带有随机反馈的在线凸优化问题（称为 bandit convex optimization），通过将椭球法应用于在线学习，给出了第一个 $\tilde {O}(\sqrt {T})$-regret 算法，并引入了离散凸几何中的新工具。

Mar, 2016

探讨了利用 Adaptive Constraint Learning 算法解决具有昂贵人类偏好未知约束的序列决策问题，特别是在驾驶行为中体现的安全和舒适性约束的识别，该算法在驾驶模拟中比其他算法更加高效

Jun, 2022

本文介绍了一个安全的线性随机挑战模型，其中学习器在每一阶段都需要选择一个预期奖励不小于预先确定的（安全）阈值的臂，以高概率。我们假设学习器最初掌握的是一个已知为安全但不一定最优的臂的知识。基于此假设，介绍了一种学习算法，它将已知的安全臂与探索性臂系统地结合起来，以便随时间安全地扩展安全臂集，同时促进后续阶段的安全贪婪利用。除了确保在每个播放阶段满足安全约束之外，所提出的算法还表现出一种预期的遗憾，在播放 T 个阶段后不超过 O（sqrt（T）log（T））

Nov, 2019