Mar, 2020

情境随机赌博问题中的模型选择

PDF
TL;DR研究如何在随机环境中进行赌徒模型选择，提出一种基于元算法的方法，可以与一般类别的基本算法和不同类型的对抗性元算法一起使用，同时发展一种新颖的通用平滑变换的算法来优化模型选择问题。
bandit model selectionmeta-algorithmstochastic environmentscontextual banditreinforcement learning
发现论文，激发创造
  • 上下文臂选择模型

    介绍了在上下文密集应用中的模型选择问题及其解决方案，该方案适用于线性上下文密集应用，并在先验知识下达到了较低的后验概率。

    Jun, 2019

  • 线性上下文强化学习模型选择的通用自适应算法

    在上下文强化学习中进行模型选择是一项重要的补充问题。本研究提出了一些新的算法，这些算法可以在数据自适应的情况下进行探索，并提供模型选择保证。

    Nov, 2021

  • 多臂赌博和强化学习中的模型选择的遗憾界平衡和消除

    该文章提出了一种简单的模型选择方法，用于解决随机赌博和强化学习问题，并通过平衡算法的候选遗憾边界，以及淘汰违反其候选边界的算法来消除算法，从而证明该方法的总遗憾由最佳候选遗憾边界的一个乘性因子限制。

    Dec, 2020

  • 基于数据驱动的悔恨平衡在线模型选择策略

    研究随机环境下序列决策中模型选择的效用，并利用数据驱动方法得到候选后悔保证未知的基本学习方法，通过后悔平衡实现模型选择保证。

    Jun, 2023

  • 开放问题：上下文赌博机的模型选择

    这篇论文探讨了在上下文赌博学习中，是否可能采用模型选择算法，以适应最佳假设类的复杂性，并寻求类似于统计学习中的算法保证。

    Jun, 2020

  • 通过离线神谕在具有多个类别的情境下选择最优模型的方法

    本研究提出了一种新的算法，用于解决上下文 Bandit 问题中的模型选择问题，该算法通过离线模型选择预言机的方式平衡偏差 - 方差交换和探索 - 利用交换，并具有与回归模型选择相同的计算要求。

    Jun, 2021

  • 广义线性情境赌博机的可证明最优算法

    本文提出了针对广义线性情境臂的上界置信度算法，实现了与众不同的性能，同时我们还分析了更简单的上界置信度算法，在特定情况下证明了该算法具有最优的后悔。

    Feb, 2017

  • 上下文回馈中的误差适应

    在这篇论文中，我们介绍了一种新的 Oracle-efficient 算法，适用于无限行动设置下的线性情境强化学习问题，该算法实现了最优的拟合程度依赖性回归（square loss regression）的后悔上限，使得它能够在未知的模型错误情况下灵活适应。

    Jul, 2021

  • 最佳模型选择

    本文研究带有嵌套策略类别的赌场情境中的模型选择问题，旨在获得同时具备敌对和随机（“双赢”）的高概率遗憾保证。我们的方法要求每个基本学习器都带有可能或不可能持续的候选遗憾边界，同时，我们的元算法根据保持基本学习器的候选遗憾边界平衡的时间表播放每个基本学习器，直到它们被发现违反了保证。我们开发了谨慎的误规范测试，专门设计用于混合上述模型选择标准和利用环境（可能是良性）性质的能力。我们恢复了 CORRAL 算法在敌对环境下的模型选择保证，但在嵌套敌对线性赌徒的情况下，具有实现高概率遗憾边界的额外优势。更重要的是，我们的模型选择结果同时在间隙假设下在随机环境中保持。这些是第一个在（线性）赌徒情况下，在进行模型选择的情况下实现双赢（随机和敌对）保证的理论结果。

    Jun, 2022

  • 线性上下文臂优化中的自适应探索

    我们设计了一种渐近上限最优算法，并充分利用线性结构和精确探索，从而减少了在多种合理情境下的失算，数值结果表明，与其他基准算法相比，我们的方法大大减少了失算。

    Oct, 2019