Aug, 2023

安全线性赌臂机中的问题几何利用

HTML
PDF
TL;DR通过利用特定问题设置的几何性质，我们为分离良好的问题实例和有限星凸集的行动集提供了改进的遗憾保证。此外，我们提出了一种新的算法，该算法在选择问题参数时自适应，并且至少与现有算法具有相同的遗憾保证。最后，我们引入了安全线性贝叶斯设定的一个概括，其中约束是凸的，并通过一种基于凸分析的方法利用我们的算法和分析。模拟结果显示在各种随机抽样的设置中相对于现有算法的性能有所提升。
发现论文，激发创造
  • 线性上下文多臂赌博机和背包问题

    本文研究了带有资源消耗的线性情境赌博机问题，算法具有近乎最优的遗憾界，并将技术从Solution综述中的线性情境赌博机，背包赌博机和在线随机填充问题中结合使用。

    Jul, 2015

  • 安全约束下的线性随机赌博机

    本文提出了一种基于UCB策略的新算法Safe-LUCB，用于解决多臂赌博问题中考虑安全限制的约束，该算法具有探索和利用两个阶段，并控制遗憾值增长，提供了一般遗憾上界及与最佳行动位置有关的问题相关遗憾上界。

    Aug, 2019

  • 带附加信息的安全线性汤普森抽样

    本文针对线性随机赌博机问题提出一种基于线性Thompson抽样的新型安全算法，通过引入线性安全约束，在与没有安全约束的情况下，展示了使得机器人有更好的性能表现的结果，并将其与基于UCB算法的安全算法进行了比较。

    Nov, 2019

  • 安全线性随机赌博机

    本文介绍了一个安全的线性随机挑战模型，其中学习器在每一阶段都需要选择一个预期奖励不小于预先确定的（安全）阈值的臂，以高概率。我们假设学习器最初掌握的是一个已知为安全但不一定最优的臂的知识。基于此假设，介绍了一种学习算法，它将已知的安全臂与探索性臂系统地结合起来，以便随时间安全地扩展安全臂集，同时促进后续阶段的安全贪婪利用。除了确保在每个播放阶段满足安全约束之外，所提出的算法还表现出一种预期的遗憾，在播放T个阶段后不超过O（sqrt（T）log（T））

    Nov, 2019

  • 广义线性赌臂机在参数漂移下的遗憾界

    本文探究了广义线性Bandits在非稳态环境中的应用，比如参数漂移等问题，提出了一种新增添的算法，基于动态问题的推断，解决了广义线性Bandits在非稳态环境下表现出的缺陷，拥有了更优秀的性能表现。通过对于动态问题投影过程的修改，我们设计出了一种具有结构性特点的算法。经过实验证明，我们的算法达到了更好的性能表现。

    Mar, 2021

  • 具有凹形回报的情境赌博机及其在公平排序中的应用

    本文研究了具有凹奖励的情境强化学习(CBCR)问题，提出了第一个不限政策空间并能使后悔可控的算法；通过把CBCR算法几何地解释为期望奖励的凸集上的优化算法，有了一种从CBCR后悔到标量奖励强化学习后悔的新方法， 并给出了在排名和公平性限制下CBCR的解法。

    Oct, 2022

  • 具有弹奏反馈的安全优化中约束集的几何属性的影响

    研究了带有Bandit反馈的安全优化问题，提出了一种针对此问题的算法，探讨了限制集合的几何特性对算法的后悔值的影响。引入了限制集合的尖锐度概念来识别可以保证这个算法后悔值的子线性下界的集合类，并给出了模拟结果支持这一下界，并证明了集合的尖锐度影响了算法的表现。

    May, 2023

  • 基于几何意义的线性赌博机算法平衡性能和理论保证

    该论文提出了一种基于数据驱动技术的算法，利用不确定椭球的几何性质追踪算法的习得性能，在不同的问题实例上实现实例相关的频率遗憾边界，从而实现算法实例纠错，并在保留基础算法大部分优良性质的同时，达到最小化讽刺性遗憾代价。

    Jun, 2023

  • 线性赌臂机器人的纳什后悔保证

    在随机线性赌博机的框架中，我们获得了强化的后悔概念的紧密上界。这个强化的后悔概念被称为Nash后悔，它被定义为线性赌博机算法累积的预期奖励的几何平均值与（事先未知的）最优解之间的差异。我们开发了一种算法，在有限的臂集和无限的臂集两种情况下，实现了Nash后悔的上界。

    Oct, 2023

  • 约束线性赌臂问题的凸方法

    近年来，与人类不断互动的现实世界安全关键系统中的强盗优化引起了极大关注。本文提出了一个综合性研究，重点研究了安全线性强盗算法的计算方面，通过引入凸规划工具创建了计算效率高的策略。具体而言，我们首先对安全线性强盗问题的最优策略进行了特征化，并提出了一个仅涉及求解凸问题的端到端安全线性强盗算法流程。我们还对我们提出的方法的性能进行了数值评估。

    Nov, 2023