多臂赌博和强化学习中的模型选择的遗憾界平衡和消除

Dec, 2020

多臂赌博和强化学习中的模型选择的遗憾界平衡和消除

Regret Bound Balancing and Elimination for Model Selection in Bandits and RL

Aldo Pacchiano, Christoph Dann, Claudio Gentile, Peter Bartlett

TL;DR该文章提出了一种简单的模型选择方法，用于解决随机赌博和强化学习问题，并通过平衡算法的候选遗憾边界，以及淘汰违反其候选边界的算法来消除算法，从而证明该方法的总遗憾由最佳候选遗憾边界的一个乘性因子限制。

Abstract

We propose a simple model selection approach for algorithms in stochastic bandit and reinforcement learning problems. As opposed to prior work that (implicitly) assumes knowledge of the optimal regret, we only re

model selection stochastic bandit reinforcement learning regret bounds algorithm elimination

发现论文，激发创造

基于数据驱动的悔恨平衡在线模型选择策略

研究随机环境下序列决策中模型选择的效用，并利用数据驱动方法得到候选后悔保证未知的基本学习方法，通过后悔平衡实现模型选择保证。

Jun, 2023

情境随机赌博问题中的模型选择

研究如何在随机环境中进行赌徒模型选择，提出一种基于元算法的方法，可以与一般类别的基本算法和不同类型的对抗性元算法一起使用，同时发展一种新颖的通用平滑变换的算法来优化模型选择问题。

Mar, 2020

算法选择作为带无限损失的赌博机问题

本文提出一种将算法选择表示为部分信息的赌博问题的简单框架，并将现有的求解器适应于该游戏，证明了其期望遗憾的边界，该算法选择技术的也适用于此。

Jul, 2008

上下文臂选择模型

介绍了在上下文密集应用中的模型选择问题及其解决方案，该方案适用于线性上下文密集应用，并在先验知识下达到了较低的后验概率。

Jun, 2019

批处理赌博机的遗憾界

本文提出了一种简单有效的算法来解决批处理随机多臂赌博机和线性随机多臂赌博机问题，这些算法能够通过只使用对数数量的批次实现最优期望遗憾界，此外，文章还首次研究了批处理对抗性多臂赌博机问题，并发现了任何算法的最佳遗憾界（对数因子除外）的预定批处理大小。

Oct, 2019

最佳模型选择

本文研究带有嵌套策略类别的赌场情境中的模型选择问题，旨在获得同时具备敌对和随机（“双赢”）的高概率遗憾保证。我们的方法要求每个基本学习器都带有可能或不可能持续的候选遗憾边界，同时，我们的元算法根据保持基本学习器的候选遗憾边界平衡的时间表播放每个基本学习器，直到它们被发现违反了保证。我们开发了谨慎的误规范测试，专门设计用于混合上述模型选择标准和利用环境（可能是良性）性质的能力。我们恢复了 CORRAL 算法在敌对环境下的模型选择保证，但在嵌套敌对线性赌徒的情况下，具有实现高概率遗憾边界的额外优势。更重要的是，我们的模型选择结果同时在间隙假设下在随机环境中保持。这些是第一个在（线性）赌徒情况下，在进行模型选择的情况下实现双赢（随机和敌对）保证的理论结果。

Jun, 2022

线性上下文强化学习模型选择的通用自适应算法

在上下文强化学习中进行模型选择是一项重要的补充问题。本研究提出了一些新的算法，这些算法可以在数据自适应的情况下进行探索，并提供模型选择保证。

Nov, 2021

一种带有演化操作的赌博机方法进行模型选择

该研究论文将模型选择问题视为无限臂赌博机问题，通过部分训练（资源分配）选择模型，准确率作为奖励，最佳模型与最终选择模型之间的期望准确率差异作为遗憾，提出了一种基于进化算法的新型组合方法 Mutant-UCB，通过在三个开源图像分类数据集上的测试，证明了其相对于固定预算的超出先进技术的相关性。

Feb, 2024

线性赌博机中的 Pareto 最优模型选择

本文是一篇关于线性臂选模型选择的研究，提出了一种 Pareto 最优算法，能实现基于已知维度的较小假设集来平衡探索和开发，并且能够匹配模型选择问题的最低界限。

Feb, 2021

线性赌博机中的即时模型选择

在线学习在模型选择时可以通过对线性赌博机进行全信息反馈来改进性能，从而在 M 个模型中具有对数级的依赖性，而不需要先验知识或纯探索阶段。

Jul, 2023