Jul, 2018

具有随机延迟反馈的线性赌博机

PDF
TL;DR该文提出了基于延迟反馈的随机线性赌博机及其算法 OTFLinUCB 和 OTFLinTS，并通过实验验证了其性能，其中 OTFLinUCB 算法的遗憾上界为 O (d√T)。
stochastic linear banditsdelayed feedbackotflinucbotflintsregret
发现论文，激发创造
  • 广义线性赌博机中的延迟反馈：重访

    本文以延迟反馈形式的一般化线性赌博机作为研究对象，通过设计乐观的算法，使得其失效惩罚与决策次数无关，从而大幅提高了现有研究中最优遗憾界的表现。

    Jul, 2022

  • 具有中间观测的非平稳延迟赌博机

    介绍了一种解决在线推荐系统中面临的延迟反馈和非静态环境下，如何利用中间信号解决长期行为稳定性问题的计算机算法，并利用 UCRL 算法提出了一个能够在非静态延迟环境中学习的方法。

    Jun, 2020

  • 在线一位反馈随机线性优化

    本文研究在线随机线性优化的特殊赌徒环境，其中每轮只有一位信息被揭示给学习者。我们假定二元反馈是从对数模型产生的随机变量，并旨在最小化未知线性函数定义的遗憾。为了解决此挑战，我们通过利用观测模型的特定结构开发了一种高效的在线学习算法。

    Sep, 2015

  • 带有复合匿名反馈的非随机赌博机

    研究非随机赌博环境下的遗憾界，提出了基于 FTRL with Tsallis entropy 的算法转化方法。

    Dec, 2021

  • 组合半匪谷、线性匪谷和 MDP 的非随机延迟反馈的统一分析

    本文提出了 Follow The Regularized Leader (FTRL) 算法并应用于在线学习中，通过分离延迟反馈成本和赌博反馈成本，得出了在三种不同的情况下的新结果，包括组合半赌博、带延迟的对抗 Markov 决策过程以及带权值的线性赌博。我们的新型遗憾分解显示 FTRL 在正则化程序的 Hessian 矩阵上的温和假设下，可在多轮中保持稳定，并为线性赌徒提供了一种有效算法和接近最优的遗憾限制。

    May, 2023

  • 核心赌徒中的延迟反馈

    该研究提出了一种算法来解决具有随机延迟反馈的内核赌博问题，其具有非常相似的复杂性界限，而且，与现有算法相比表现出了更好的表现。

    Feb, 2023

  • 具有图结构反馈的非随机多臂赌博机

    本文研究了一种名为 “部分信息” 的在线学习模型，提出了多种算法，通过信息反馈结构的组合特性，给出了紧密的遗憾界限。

    Sep, 2014

  • 带线性约束的随机赌博机

    本文研究了一个约束的上下文线性赌博机问题，提出了一种算法 OPLB 并证明了其 T 轮后悔度的上限，针对多臂赌博机情况提出了高效算法，同时给出了问题的下限和模拟结果。

    Jun, 2020

  • 随机线性赌博机中的近似推断贝叶斯赌博算法

    提出了一个通用的理论框架来分析具体推断存在时的随机线性赌博带中的贝叶斯赌博算法，得到了 Linear Thompson Sampling 和 Linear Bayesian Upper Confidence Bound 在近似推断时保持原有遗憾上界但需要更大的常数项的结论，引入一种新的定义来展示 Linear Bayesian Upper Confidence Bound 改进了 Linear Thompson Sampling 的遗憾速率，从而与极小的理论最优速率相匹配，这是首次在具有有界近似推断误差的随机线性赌博带设置中给出的遗憾界。

    Jun, 2024

  • 不安定线性赌臂机

    基于线性赌博问题的更一般的表述考虑了随时间的依赖性，提出了一个近似算法 LinMix-UCB，该算法在依赖性较强的情况下能够控制误差并保证次线性后悔。

    May, 2024