Oct, 2019

贝叶斯最佳臂识别的固定置信度保证

PDF
TL;DR研究 Thompson Sampling 在 bandit 问题中的应用，提出一种新的取样规则 Top-Two Transportation Cost (T3C)，结合贝叶斯停止规则进行采样复杂度分析，并给出 bandit 问题中 Gaussian 和 Bernoulli rewards 和共轭先验的后验收敛性结果。
thompson samplingbanditsgaussian rewardsconjugate priorssample complexity analysis
发现论文，激发创造
  • 一种用于固定置信度和更高效率的 ε- 最优臂识别算法

    提出了 EB-TC𝜀，一种新颖的采样规则，可用于随机强盗中的𝜀- 最佳臂识别，可在固定置信度或固定预算识别（不需要事先了解预算）。该规则的样本复杂度的期望上界在固定置信度设置下得到了证明，并说明了在其勘探参数进行自适应调节的情况下其渐近最优。我们通过数值模拟表明，EB-TC𝜀在不同情况下表现良好，优于现有算法。

    May, 2023

  • 在线自适应交通实验的批处理贝叶斯采样算法实用性评估

    本文通过对自适应交通实验的多臂赌博算法、贝叶斯批次赌博算法和流量分配等进行研究，提出了四种新的贝叶斯采样算法（NB-TS，WB-TS，NB-TTTS 和 WB-TTTS）并进行了综合评估。评估结果显示，WB-TTTS 是一个有前途的选择，如果 A/B 测试的惩罚可承受（例如，信息损失），否则 NB-TS 仍然是对于试验具有惩罚考虑的一个强大选择。

    May, 2023

  • 固定置信度下的最优臂识别

    本研究完整表征了单参数赌博机问题中最优臂识别的复杂度，并提出了一种被称作 “Track-and-Stop” 的策略，该策略通过的新采样规则和所提出的 Chernoff 停止规则被证明是渐近最优的，并在样本复杂度上取得了一个新的紧致下界。

    Feb, 2016

  • 最佳挑战规则下的贝叶斯臂选择中的汤姆森探索

    该论文研究了在集中置信度下的最佳臂识别问题，提出了一种结合汤普森采样和最佳挑战者规则的策略，在样本复杂度较低的情况下取得了近乎最优的性能。

    Oct, 2023

  • 多任务赌博机中的稳健转移的汤普森取样

    本研究针对具有相似但不完全相同的多臂赌博机环境中的在线多任务学习问题，研究了如何通过知识的健壮传递从而提高学习器在多个相关任务上的整体性能。我们提出了一种 TS 类型算法，对其进行了经验分析，并证明了它是几乎最优的。最后，我们将算法在合成数据上进行了评估，证明了 TS 类型算法在与基准算法和 UCB 算法的比较中具有卓越的经验性能。

    Jun, 2022

  • 简单贝叶斯算法的最佳臂识别

    本文提出了三种简单直观的贝叶斯算法，旨在通过适应性地分配测量功夫，有效地识别有限选项或设计中的最佳选择，而这些简单算法能够以最佳方式实现这一目标。

    Feb, 2016

  • 具有固定置信度的不安定赌博机中的最佳臂标识

    在具有有限个臂的不安定多臂赌博问题中，通过分析某个马尔可夫决策过程及其状态 - 行动访问比例，确定最佳臂的策略和相应的期望停止时间，从而在有限的样本数、有限错误概率的条件下达到最佳臂的识别。

    Oct, 2023

  • 组合半臂老虎机的汤普森抽样

    本文研究了 Thompson 采样方法在随机组合多臂赌博机框架中的应用，分析了多种算法的累积遗憾，并给出了上限界以及其他算法之间的比较结果。

    Mar, 2018

  • 双掷硬币汤普森抽样在对决式多臂老虎机算法中的应用

    该论文通过提出 D-TS 算法，使用 Thompson Sampling 解决了 dueling bandit 问题，该算法适用于一般的 Copeland dueling bandits，其中 Condorcet dueling bandits 是其特例，并在合成和真实数据上进行了模拟，证明了算法的效率。

    Apr, 2016

  • 具贝叶斯在线变点检测的切换环境下的汤普森抽样

    本文针对动态环境下的多臂赌博机问题提出了基于 Thompson Sampling 和贝叶斯变点机制的算法，称为 Change-Point Thompson Sampling (CTS) 算法，并在新闻点击和外汇交易数据等真实环境中验证其优越性。

    Feb, 2013