Jul, 2020

上界逆事实置信区间：一种新的胜算原理用于上下文多臂赌博机

PDF
TL;DR本文研究实现条件下的通用上下文医生模型并提出了一种名为 'Upper Counterfactual Confidence Bounds' 的乐观算法，该算法通过在策略空间而非行动空间分析置信区间以及利用潜在功能视角表达在上下文环境中乐观情绪的作用来解决大上下文空间下的问题，并通过引入‘反事实行动偏差’的概念来扩展 UCCB 原理以涵盖无限行动空间。
发现论文，激发创造
  • 自举式上置信域界限算法

    本文提出了一种基于乘数 bootstrap 的非参数和数据相关的 UCB 算法，并进一步将二阶校正融入该算法，在理论上，我们推导出了在比标准次高斯性更弱的尾部假设下的多臂老虎机的问题相关和问题无关的后悔边界，数值结果表明 UCB 算法相比其他基线在一系列多臂和线性老虎机问题中都有显著的降低后悔

    Jun, 2019

  • 基于数据驱动的上界置信度在重尾赌博机上的近优遗憾

    本文提出了一种分布无关、数据驱动的上置信界（UCB）算法，结合最近发展的重新抽样中位数法（RMM）方法，对称奖励分布的研究中生成近乎最优的后悔边界，即使是重尾分布。

    Jun, 2024

  • BOF-UCB：一种非平稳上下文多臂赌博机问题的贝叶斯优化频率法算法

    我们提出了一种新颖的贝叶斯 - 乐观频率上置信界（BOF-UCB）算法，用于非平稳环境中的随机上下文线性臂问题。该算法通过使用顺序贝叶斯更新来推断未知回归参数的后验分布，并随后采用频率学方法通过最大化后验分布上的预期奖励来计算上置信界（UCB），从而提高了适应性和性能。我们对 BOF-UCB 的性能提供了理论保证，并证明了它在合成数据集和经典控制任务中在强化学习环境中平衡探索和利用方面的有效性。我们的结果表明，BOF-UCB 优于现有方法，成为非平稳环境中顺序决策的有希望解决方案。

    Jul, 2023

  • 非平稳赌博机问题的置信上限策略

    本文考虑了分布保持不变，但在未知时间发生改变的非稳态赌徒问题，研究了两种算法：折扣上限置信区间和滑动窗口上限置信区间，并通过 Hoeffding 不等式得到了后者的上界，对不优的赌博机被玩的次数期望进行了上界估计并证明了存在性突然性改变时的遗憾下界，证明了折扣上限置信区间和滑动窗口上限置信区间的匹配下界一致性。

    May, 2008

  • 优化置信区间上界算法：改进有限臂赌博机的遗憾

    提出了一种基于 UCB 并具有适当的置信参数平衡风险和过度乐观代价的随机有限臂老虎机算法，同时具有最优问题依赖性遗憾和最坏情况遗憾。

    Jul, 2015

  • AdaLinUCB: 基于上下文的赌博机的机会学习

    本文主要研究机遇上下文奖励问题，提出了自适应上界置信区间算法（AdaLinUCB），并实现了 O（（log T ）^ 2）的问题相关遗憾上界证明。

    Feb, 2019

  • 具备回归神谕的实用上下文强化学习

    本研究提出了一种新的技术，将可实现性方法的经验和计算优势与不可知方法的灵活性相结合，借助回归预测器的可用性来进行算法优化，实现了任何分布假设下出色的表现。

    Mar, 2018

  • 上下文赌博大比拼

    本文是对背景上下文算法的一个全面的研究和综述，重点关注依靠监督学习的优化原则的实用方法，并利用大量的监督学习数据集进行了实证评估。研究发现，最近使用不确定性乐观主义的方法在整体上效果最好，其次是通过上下文多样性暗示进行探索的简单贪心基线。

    Feb, 2018

  • 机会主义赌博机的自适应勘探和开发平衡

    提出了一种新型武器 - 机会主义强盗，研究了不同环境条件下拉取次优武器的损失，提出了一种自适应上置信界算法（AdaUCB）来平衡开采 - 探索的权衡，证明了 AdaUCB 的性能优于传统算法，并在合成数据和真实世界的实验结果中得到了验证。

    Sep, 2017

  • 基于上置信界探索的神经上下文波段算法

    我们提出了一种新算法 NeuralUCB 来解决随机上下文的赌博机问题，它利用了深度神经网络的表达能力并使用基于神经网络的随机特征映射来构建奖励的上界，证明了该算法能够在一些基准测试中具有实际竞争力且能够保证近乎最优的回报保证。

    Nov, 2019