Jun, 2023

具有异质奖励方差的固定预算的最佳臂识别

PDF
TL;DR研究在异质奖励方差的固定预算设置下的最佳臂识别问题，提出两种方差自适应的算法：SHVar 和 SHAdaVar，分别用于已知奖励方差和未知奖励方差情况下，通过不均匀预算分配实现对高方差臂的偏好，本文还给出了误判最佳臂的概率界限。
发现论文，激发创造
  • 未知方差的双臂高斯赌博机中局部最优固定预算最佳臂识别

    我们提出了一种在自适应实验中估计方差的策略，并展示了在变量未知情况下该策略在渐近情况下是最优的。

    Dec, 2023

  • 固定预算差分私有最佳臂辨识

    在差分隐私约束下，研究固定预算探索期的线性赌臂问题，通过最大绝对确定性原则构建满足差分隐私约束的策略，得到其错误概率的上限和下限，并展示其与赌臂问题复杂性、亚最优的臂差异和差分隐私参数相关的指数级衰减特性。此外，该研究还提供了独立感兴趣且对其他赌臂问题的错误概率下限证明具有重要作用的一些辅助结果，填补了先前文献中固定预算探索期下差分隐私约束情况下最优臂识别的研究空白。

    Jan, 2024

  • 基于先验的分配策略在结构化赌博机中进行贝叶斯固定预算最佳臂识别

    我们研究了基于贝叶斯的固定预算最佳臂识别（BAI）在结构化赌博问题中的应用，提出了一种算法，该算法基于先前的信息和环境的结构使用固定分配，我们对该算法在各种模型上的性能给出了理论上的界限，包括首次基于先验信息的线性和分层 BAI 的上界。我们的主要贡献是引入了新的证明方法，相比现有方法，该方法对多臂 BAI 的界限更紧。我们广泛比较了我们的方法与其他固定预算 BAI 方法，在各种场景下展示了其一致且稳健的性能，我们的工作提升了我们对结构化赌博中基于贝叶斯的固定预算 BAI 的理解，并突显了我们方法在实际场景中的有效性。

    Feb, 2024

  • 具有固定预算的局部最优最佳臂鉴别

    通过实验设计和策略分析，本研究旨在在固定的实验轮数下，识别具有最高预期结果的最佳治疗方案，以及减少误判的概率和通过计算概率下界来设计最优策略。

    Oct, 2023

  • 具备鲁棒性的线性赌臂机算法的 A/B 测试与最佳臂识别

    我们研究了在线线性赌臂问题中的固定预算最佳臂识别问题，并提出了一种能够在非稳态环境下稳健识别的算法。

    Jul, 2023

  • 具有资源约束的最佳臂识别

    在资源约束下，通过资源消耗来识别最佳模式的 Best Arm Identification 问题中，我们设计并分析了基于资源分配的逐步减半算法 (SH-RR)，它在成功识别最佳模式的概率方面实现了接近最优的非渐进收敛速度；有趣的是，我们在确定性和随机资源消耗的情况下发现了收敛速度上的差异。

    Feb, 2024

  • 具有线性功能逼近的重尾奖励方差感知健壮增强学习

    该论文提出了两个算法 - AdaOFUL 和 VARA，以解决在有限方差的重尾回报情况下的在线顺序决策问题。这些算法可以应用于线性随机赌博机和线性马尔可夫决策过程，并且新的算法优于之前的算法。其中 AdaOFUL 和算法 Huber 回归适应进行对于重尾回报的处理，VARA 则提供了更紧的可变方差回报较紧的方案。

    Mar, 2023

  • 固定预算下的最优臂识别：大偏差视角

    通过大偏差原理，我们在适应性算法中建立了样本抽取比例与样本奖励之间的联系，从而改进了现有算法并设计了新算法，我们证明了新算法的性能优于现有算法，包括对众多抽样的广泛实验证实了这一观察结果。

    Dec, 2023

  • 固定预算下的约束最佳混合臂识别的纯探索

    本文介绍了携带固定预算的约束性最佳混合臂识别问题，提出了一个基于分数函数的连续拒绝算法，结合线性规划理论，以识别最佳支持并且证明了其误识别概率在给定学习预算 N 和问题实例难度常数下的指数衰减。

    May, 2024

  • 协方差自适应最佳臂识别

    该研究介绍了一种更加灵活的多臂老虎机模型，旨在通过估算臂间协方差来更高效地识别最佳臂，并利用新算法提供了实现此目标的理论保证和数值模拟。

    Jun, 2023