Oct, 2015

带随机多臂赌博机的在线实验设计调查

PDF
TL;DR本研究调查和综合了在线统计学习范例 —— 称为多臂赌博机的领域，作为在线实验的某一类资源。我们首先探讨了传统的多臂赌博机的随机模型，然后探讨了复杂模型的分类模式，针对每种模型的复杂性与实验设计背景下的特定要求或考虑进行了说明。最后，我们提供了所有研究算法已知上限遗憾表格的决策工具，为未来理论工作提供了两方面的视角。
发现论文，激发创造
  • 随机和非随机多臂赌博机问题的遗憾分析

    本调查报告主要关注于多臂赌博问题中两个极端情况的分析，即独立同分布回报和对抗性回报，并对有限行为、情境赌博模型等进行了分析。

    Apr, 2012

  • 离散选择多臂赌博机

    通过建立离散选择模型与在线学习和多臂赌博算法领域之间的联系，本文的两个主要贡献是提供了一类算法的次线性遗憾界，包括 Exp3 算法作为特例，并引入了一类新的对抗多臂赌博算法，借鉴了 Wen (2001) 首次提出的广义嵌套逻辑模型，这些算法能够通过封闭形式的采样分布概率实现高度的模型调优灵活性。为了演示我们算法的实际实施，我们进行了数值实验，重点关注随机赌博的情况。

    Oct, 2023

  • 低成本在线决策：一种组合多臂赌博机方法

    本文基于组合多臂赌博机，考虑了测试成本，提供了一种新的成本高效的在线决策框架，并通过后验抽样或 BayesUCB 进行探索。我们对该框架进行了严格的理论分析，并提供了多个实验结果，证明了它在实际问题中的适用性。

    Aug, 2023

  • 上下文多臂赌博机调查

    该研究综述了几种随机和对抗性的上下文 Bandit 算法，分析了每个算法的假设和遗憾界。

    Aug, 2015

  • 组合赌博机再审

    本文研究了随机和对抗性组合多臂赌博问题。在随机情况下，我们提出了一种特定问题的遗憾下限，并讨论了其与决策空间维数的比例关系。我们提出了 ESCB 算法，该算法能有效地利用问题的结构，并对其遗憾进行了有限时间分析。ESCB 具有比现有算法更好的性能保证，并在实践中显着优于这些算法。在对抗性情况下，我们提出了 CombEXP 算法，其遗憾比比现有最先进算法相同，但对于某些组合问题具有较低的计算复杂度。

    Feb, 2015

  • 有限模型的多臂赌博机中的连续转移

    本文着重研究在线学习中的顺序迁移问题，尤其是在多臂赌博机框架中，引入了一种基于矩阵方法的赌博算法，推导出了它的遗憾界。

    Jul, 2013

  • 随机赌博机上的数据污染攻击

    本文旨在研究敌对攻击策略对多臂赌博算法的影响，并提供了离线攻击和在线攻击的策略，展示了潜在的安全威胁。

    May, 2019

  • 具有图结构反馈的非随机多臂赌博机

    本文研究了一种名为 “部分信息” 的在线学习模型，提出了多种算法，通过信息反馈结构的组合特性，给出了紧密的遗憾界限。

    Sep, 2014

  • 随机情境线性赌博机的实验设计

    通过设计一种单一的随机非反应策略来探索，该策略可以在一些批处理上下文可用的情况下收集良好的数据集，从中提取近似最优策略，通过理论分析和实验研究在合成和现实世界数据集上验证。

    Jul, 2021

  • 一种多臂赌博机的随时有效因果推断的实验设计

    通过 Mixture Adaptive Design (MAD) 实验设计，与用户选择的多臂赌博算法结合 Bernoulli 设计，能够在几乎任何赌博算法中对平均处理效果 (ATE) 进行连续推论，保证统计有效性和功率，提高 MAB 实验中 ATE 推论的覆盖率和功效。

    Nov, 2023