改进线性逻辑模型的置信区间界限及在线性赌博机中的应用

Nov, 2020

改进线性逻辑模型的置信区间界限及在线性赌博机中的应用

Improved Confidence Bounds for the Linear Logistic Model and Applications to Linear Bandits

Kwang-Sung Jun, Lalit Jain, Blake Mason, Houssam Nassif

TL;DR本文中，我们基于对 logistic 损失的自共轭分析提出了改进的固定设计置信区间用于线性 logistic 模型，避免了对所有臂奖励分布的最小方差 $\kappa$ 的直接依赖。我们提供了两个应用程序，以及一个下界，证明了性能保证的最新进展。

Abstract

We propose improved fixed-design confidence bounds for the linear logistic model. Our bounds significantly improve upon the state-of-the-art bound by Li et al. (2017) via recent developments of the self-concordant analysis of the logistic loss (Faury et al., 2020). Specifically, our co

confidence bounds linear logistic model pure exploration regret minimization logistic bandits

发现论文，激发创造

改进后的逻辑回归赌博机算法

本研究提出了一种针对逻辑回归赌博机的新方法，避免了先前算法中会导致较差实验结果的一种问题，并获得了较紧的后果界限，这种算法不依赖于制定决策时的尺寸。

Feb, 2020

基于方差的线性赌博机和线性混合 MDP 置信区间的改进

本文提出了一种新的方差感知置信集，用于线性 bandits 和线性混合马尔可夫决策过程（MDPs）中，我们得到了与方差和维度相关，但不显式依赖于循环次数 k 的后悔上限，并获得了史上首个仅在强化学习中呈对数比例的后悔上限，这三种技术思想可能是独立感兴趣的应用。

Jan, 2021

利用鞍点边界来改进随机线性赌臂算法的新算法

我们提出了一种改进的算法，可保证在最坏情况下减少后悔，以解决随机线性强盗问题。

Sep, 2023

广义线性情境赌博机的可证明最优算法

本文提出了针对广义线性情境臂的上界置信度算法，实现了与众不同的性能，同时我们还分析了更简单的上界置信度算法，在特定情况下证明了该算法具有最优的后悔。

Feb, 2017

通过遗憾 - 置信区间转化改进（多项式）逻辑回归赌博机的遗憾界限

通过一种新的方法称为遗憾与置信集转化（R2CS），我们在逻辑回归赌博机中获得了对 S 的严格遗憾界限的改进，同时保持了计算可行性和对其他因素（如 d 和 T）的依赖。通过引入新的鞅集中步骤来将其应用于多项式逻辑回归赌博机，我们也获得了类似的遗憾改进，展示了 R2CS 的有效性。

Oct, 2023

线性参数赌博机的近似极小极大后悔

研究了有限动作集的线性上下文强化学习问题，介绍了一种名为 VCL SupLinUCB 的算法，并表明其与最佳下界相匹配，相较于之前的算法分析，节省了两个对数因子。

Mar, 2019

带线性约束的随机赌博机

本文研究了一个约束的上下文线性赌博机问题，提出了一种算法 OPLB 并证明了其 T 轮后悔度的上限，针对多臂赌博机情况提出了高效算法，同时给出了问题的下限和模拟结果。

Jun, 2020

对数贝叶斯遗憾界

研究提出了贝叶斯奖励机制的有限时间对数遗憾度的边界及其应用，并发现了这些权重实际上可以加强已知的上界。

Jun, 2023

线性赌博机的噪声自适应置信区间及其在贝叶斯优化中的应用

在线学习中通过与现有方法相比展示出更好或相当的性能，解决了适应未知噪声水平的问题，并提出了一种新的置信度集合与方差自适应方法。

Feb, 2024

线性约束下的纯探索赌博机问题

本文提出了两种渐近最优的算法，基于 Track-and-Stop 方法和博弈论方法，用于寻找多臂赌博机环境中具有一定置信度的最优策略，特别考虑了带有线性约束的情况，并探讨了约束难度对问题的影响。

Jun, 2023