Jun, 2018

带代理损失的上下文自适应赌博机：边界与高效算法

HTML
PDF
TL;DR本文使用代理损失函数导出了新的后悔界限和新的算法，其中借助于坡道损失函数，我们导出了新的边界界限。同时也根据标准顺序复杂度度量了回归函数的基准类，使用铰链损失函数，导出了一种有效的算法，并且其中包含了一个以$d$维度回归器引出的基准方针。在实现假设下，本研究的结果也可以得出经典的后悔边界。
发现论文，激发创造
  • 对抗环境学习的高效算法

    该论文提出了用于对抗环境下上下文相关强化学习问题的第一种Oracle有效的亚线性后悔算法，分析了两个场景，其中一个是传递式场景，另一个是小分离器设置

    Feb, 2016

  • 基于oracle的对抗性情境赌博算法的改进遗憾界

    提出了一种基于oracle的算法来应对敌对情境下的赌博问题，该算法在访问离线优化Oracle并且享有$O((KT)^{\frac{2}{3}}(\log N)^{\frac{1}{3}})$的遗憾度的情况下是计算有效的，其中K是操作的数量，T是迭代次数，N是基线策略的数量。

    Jun, 2016

  • 超越ucb: 具有回归预测器的最优和高效上下文臂算法

    本文提出了一种将上下文强化学习转化为在线回归问题的算法；该算法可以在泛型函数类上实现最小化风险，并且与以前的结果相比，它不需要任何分布假设，即使在敌对性上下文的情况下也可以工作。

    Feb, 2020

  • 除去偏见：针对对抗性赌博机和MDPs的高概率数据依赖性遗憾边界

    发展了一种新的方法，使用标准无偏估计量，并依赖于简单的递增的学习速率表和对数单调自协调障碍以及加强的弗里德曼不等式，以获取高概率遗憾边界。

    Jun, 2020

  • 通过扰动奖励学习神经上下文强化学习

    利用扰动更新神经网络，消除显式探索和计算开销，可在标准规则条件下实现$\tilde{O}(\tilde{d}\sqrt{T})$的遗憾上限，是一种高效且有效的神经自适应算法。

    Jan, 2022

  • 对抗性线性情境赌博机的一阶和二阶边界

    考虑对抗性线性上下文赌博机设置，文中给出了一种新的算法，通过利用与不需要上下文设置的线性赌博机的新联系，利用连续指数权重算法在概率单形上的一个截断版本来获得结果，并证明了其结果优于最坏情况下的后悔，特别的当环境相对温和时，考虑了上下文的密度是对数凹的情况，给出了一种同时优于二阶和一阶损失的方法。

    May, 2023

  • 对抗语境强化学习的核化方法

    通过将属于再现核希尔伯特空间的损失函数纳入到对手性线性背景乐队的在线学习问题的研究中，我们提出了一种计算有效的算法，该算法利用一种新的对损失函数进行乐观偏差估计的方法，在对底层内核进行的各种特征值衰减假设下实现接近最佳的后悔保证。

    Oct, 2023

  • 线性上下文强化学习的最佳算法

    我们研究了针对K臂线性情境赌博机的最佳算法，无需先前对环境有所了解，在敌对和随机的情境下都能够提供接近最优的后悔边界。

    Dec, 2023

  • 无界上下文分布的上下文赌博机

    本文解决了无界上下文的非参数上下文赌博机问题，填补了现有研究在这一领域的空白。提出了两种结合UCB探索的最近邻方法，其中第二种方法通过自适应选择邻居数量，达到了大部分情况下的最优后悔界限，为无界上下文的在线决策提供了有效的解决方案。

    Aug, 2024

  • 未知上下文分布的跨学习上下文赌博机的高概率界限

    本研究解决了在上下文赌博机中，学习者面临未知上下文分布的跨学习问题。我们提出对Schneider和Zimmert（2023）算法的深入分析，证明其在高概率下也能实现接近最优的遗憾值。研究结果将促使相关领域的算法设计更加关注高概率性能，而非仅仅关注期望遗憾。

    Oct, 2024