Jul, 2021

高效的一阶上下文臂状多臂老虎机：预测、分配和三角矩阵判别

PDF
TL;DR本文探讨了如何在 low noise 的情况下，通过 logarithmic loss 和 triangular discrimination 达到 contextual bandits 问题中的 first-order guarantees，取得了很好的效果和结果
statistical learningonline learningcontextual banditslogarithmic losstriangular discrimination
发现论文，激发创造
  • 广义线性情境赌博机的可证明最优算法

    本文提出了针对广义线性情境臂的上界置信度算法，实现了与众不同的性能，同时我们还分析了更简单的上界置信度算法，在特定情况下证明了该算法具有最优的后悔。

    Feb, 2017

  • 超越 ucb: 具有回归预测器的最优和高效上下文臂算法

    本文提出了一种将上下文强化学习转化为在线回归问题的算法；该算法可以在泛型函数类上实现最小化风险，并且与以前的结果相比，它不需要任何分布假设，即使在敌对性上下文的情况下也可以工作。

    Feb, 2020

  • 上下文臂针对高效优化学习

    本文介绍了一种在线学习算法，它使用了一种基于代价敏感分类器的方法，并实现了最优遗憾率，与之前的算法相比，具有指数级别的运行速度优势，并且在反馈延迟方面实现了加性遗憾而非乘性遗憾。

    Jun, 2011

  • 带预测内容的在线强盗学习

    我们考虑了上下文强盗问题，在每个时间点上，代理只能访问上下文的嘈杂版本和误差方差（或该方差的估计）。我们提出了第一个在线算法，与适当的基准相比，在此设置中具有亚线性遗憾，其关键思想是将经典统计中的测量误差模型延伸到在线决策情境中，这是一个非常复杂的问题，因为策略依赖于嘈杂的上下文观察。

    Jul, 2023

  • 未知上下文分布的上下文强化学习的最优交叉学习

    在文中，我们解决了 Balseiro 等人提出的 “交叉学习” 设置中的上下文强盗算法设计问题，通过提供一个高效算法，其拥有几乎紧密（除对数因子外）的减悔上界 O（TK），与上下文数量无关。作为结果，我们得到了对于在未知值分布下学习进行首价拍卖出价和具有随机行动集合的睡眠强盗问题的几乎紧密减悔上界。我们的算法核心是一种协调学习算法在多个时期的执行的新技术，以消除对于未知分布的估计和算法执行的动作之间的相关性。这种技术对于涉及对未知上下文分布进行估计的其他学习问题可能具有独立的意义。

    Jan, 2024

  • 对抗环境学习的高效算法

    该论文提出了用于对抗环境下上下文相关强化学习问题的第一种 Oracle 有效的亚线性后悔算法，分析了两个场景，其中一个是传递式场景，另一个是小分离器设置

    Feb, 2016

  • 平衡线性情境臂

    本篇论文针对强异质性或复杂结果模型容易引起难以估计问题的上下文匹配算法，通过整合因果推断文献中的平衡方法来降低其偏差估计的问题，并对具有平衡的线性上下文匹配算法进行损失分析，从而展示了其在多个监督学习数据集上的实用优势以及在初级训练数据中模拟模型错误和偏见的工作中所展现出的优越性。

    Dec, 2018

  • 具有对数或次线性遗憾的约束上下文臂机算法

    本文对具有预算和时间限制的约束情境赌博问题展开了研究，提出了一种高效算法 UCB-ALP 以实现对其进行近似求解并达到对数遗憾。

    Apr, 2015

  • 对抗性线性情境赌博机的一阶和二阶边界

    考虑对抗性线性上下文赌博机设置，文中给出了一种新的算法，通过利用与不需要上下文设置的线性赌博机的新联系，利用连续指数权重算法在概率单形上的一个截断版本来获得结果，并证明了其结果优于最坏情况下的后悔，特别的当环境相对温和时，考虑了上下文的密度是对数凹的情况，给出了一种同时优于二阶和一阶损失的方法。

    May, 2023

  • 上下文臂选择模型

    介绍了在上下文密集应用中的模型选择问题及其解决方案，该方案适用于线性上下文密集应用，并在先验知识下达到了较低的后验概率。

    Jun, 2019