Feb, 2024

具有图反馈的随机上下文臂机：从独立数到 MAS 数

PDF
TL;DR我们研究了具有图反馈的背景下的情景赌博问题，发现了相关概念与学习限制的关系，并提供了优化算法，以及表明针对情景赌博问题的统计复杂性在许多情况下可以由最大无环子图数完全刻画。
contextual banditsgraph feedbackregret lower boundgraph-theoretical quantitymaximum acyclic subgraph
发现论文，激发创造
  • 基于图形的情境随机赌博机

    该研究提出了一种基于随机上下文赌博问题的在线图预测的广义方法，将顶点上的未知标签与奖励分布相结合，提出了基于线性图和树的算法，有效地解决了图标签预测中的实例困难问题，并提出了一种计算简单，易于分析的算法框架来处理更一般的图。

    May, 2023

  • 高效上下文强化学习与不完全信息反馈图

    通过在线回归将参数图学习与无信息判定相结合，该研究开发了第一个可用于无信息设置的情境算法，并证明使用对数损失可以获得有利的后悔保证。

    Feb, 2024

  • 带有侧观测的随机图赌博学习

    提出一种算法来解决具有图反馈和一般函数空间的随机情境赌博问题，该算法适应底层图结构和奖励差距，为这种随机情境设定提供了一个依赖于差距的上界，改进了遗留问题，并通过数值实验验证了计算效率和 regret 上界的有效性，推动了具有图反馈的随机情境赌博领域的发展。

    Aug, 2023

  • 具有自适应上下文的因果情境助推

    我们研究了一种因果背景下的情境式赌博问题，学习者基于由其选择的初始干预进行上下文选择。在每一轮开始时，学习者根据其选择的初始行动选择一个随机上下文并获得奖励。通过引入一个与实例相关的因果参数 λ 来实现上界，并且通过使用凸优化来解决赌博探索问题。我们的实验结果验证了我们的理论，并在项目的 GitHub 存储库上发布了我们的代码。

    May, 2024

  • 反馈图的在线学习：超越赌博机

    研究在线学习问题中的反馈问题，证明反馈图的结构控制引起的学习难度，并给出了三个类别的反馈图的理论极限表现和影响。

    Feb, 2015

  • 广义线性情境赌博机的可证明最优算法

    本文提出了针对广义线性情境臂的上界置信度算法，实现了与众不同的性能，同时我们还分析了更简单的上界置信度算法，在特定情况下证明了该算法具有最优的后悔。

    Feb, 2017

  • 具有图结构反馈的非随机多臂赌博机

    本文研究了一种名为 “部分信息” 的在线学习模型，提出了多种算法，通过信息反馈结构的组合特性，给出了紧密的遗憾界限。

    Sep, 2014

  • 反馈图和转移成本下的赌博机

    本研究探讨了对抗多臂赌博问题，其中有部分的观测可用，并且除了每个行动所造成的损失外，还会产生一种新的代价。我们提出了一种新的算法，其遗憾保证仅取决于图的支配数。我们进一步通过引入下界来增加该结果。最后，我们还提出了一种新的算法，当有部分反事实的反馈时，可以改善政策遗憾边界。

    Jul, 2019

  • 可上下文化的随机臂赌博机

    介绍了一个在上下文赌博问题中近似最优样本复杂度，并且是这个问题的 PAC 设置和在线设置中的最小化遗憾。

    Jun, 2023

  • 反馈图网络在线学习：损失函数的真实形态

    本论文主要介绍了一种基于反馈图的顺序学习问题，提出了一个名为 problem complexity 的新概念，并创建了一个既定算法，实现了对此设置的最小化失望度量的最优解。

    Jun, 2023