ICMLFeb, 2021

序列有预算学习的置信度预算匹配

PDF
TL;DR研究决策、预算有限的情况下，如何优化多臂赌博、线性赌博和强化学习等问题，通过自信度与预算匹配（CBM）的方法来解决不确定性问题。
decision-making under uncertaintyquerying budgetmulti-armed banditslinear banditsreinforcement learning
发现论文，激发创造
  • 具有不对称置信区间的预算多臂赌博机

    本文研究了随机预算多臂赌博问题，并提出了一种名为 ω-UCB 的新的上置信界（UCB）采样策略，该策略使用了不对称置信区间，并表明该方法具有对数遗憾且在合成和真实设置中始终优于现有策略。

    Jun, 2023

  • 混淆预算因果强化学习

    我们研究了在由基础因果图模拟的随机环境中学习 ' 好的 ' 干预的问题，其中 ' 好的 ' 干预是指最大化奖励的干预，在预定的预算限制下考虑非均匀成本的干预，我们提出了一种算法以在一般因果图中最小化累积遗憾，并开发了一种算法以在预算设置下最小化简单遗憾。我们的理论保证包括上界和下界，而实证评估结果表明，我们的算法优于现有技术。

    Jan, 2024

  • 面向不确定性的安全在线出价优化：考虑回报率和预算限制

    本文研究了组合赌博算法在广告投放中的应用，着重探讨了在不确定预算与回报投资限制的情况下进行广告出价的优化问题，提供了优化解决方案并通过实验比较了算法在现实世界数据生成的情况下的表现。

    Jan, 2022

  • 具有一般奖励函数的组合多臂赌博机

    本文研究了随机组合多臂赌博机框架，提出了一种名为 SDCB 的新算法，该算法估计底层随机变量的分布和它们的随机显著性置信区间，并证明了 SDCB 可以实现 O (logT) 的分布相关遗憾和 $ ilde {O}(√T)$ 的分布无关遗憾，并将所得结果应用于 $K$-MAX 问题。

    Oct, 2016

  • 组合多臂老虎机问题的批量独立遗憾界

    针对组合多臂赌博机问题中的非线性奖励函数和批处理选择，引入一种新的平滑度标准 —— 基尼加权平滑度，证明了现有算法中的线性后悔量与批大小的关系可以被该平滑度参数取代，并在概率最大覆盖问题中获得了明显的精度提高。

    May, 2019

  • 基于数据驱动的上界置信度在重尾赌博机上的近优遗憾

    本文提出了一种分布无关、数据驱动的上置信界（UCB）算法，结合最近发展的重新抽样中位数法（RMM）方法，对称奖励分布的研究中生成近乎最优的后悔边界，即使是重尾分布。

    Jun, 2024

  • 广义高斯多臂赌博机中的人类决策建模

    本文提出了一个形式化的模型，该模型可以最大化人类决策过程在多臂赌博问题中的表现，并使用贝叶斯推理估算回报值，得出了对多臂赌博问题的标准解决方案，以及在图中的解决方案，其中开发了 UCL 算法，它实现了对数累积期望遗憾并表现出良好的性能。

    Jul, 2013

  • 固定预算下的约束最佳混合臂识别的纯探索

    本文介绍了携带固定预算的约束性最佳混合臂识别问题，提出了一个基于分数函数的连续拒绝算法，结合线性规划理论，以识别最佳支持并且证明了其误识别概率在给定学习预算 N 和问题实例难度常数下的指数衰减。

    May, 2024

  • 在调解员反馈下的纯粹探索

    该研究提出了一种严格推广的最佳臂标识问题，即在中介者反馈下的最佳臂标识问题，首先推导并分析了与该中介者反馈场景相关的样本复杂度的统计下界，然后提出了一种顺序决策策略，用于根据学习者已知的中介者策略发现最佳臂，最终将这些结果扩展到学习者不知道中介者策略的情况，获得可比较的结果。

    Aug, 2023

  • 具有多次游戏和预算限制的多臂赌博机

    研究多臂赌博问题下的多次试验和预算约束的拓展，提出上置信区间和 Exp3 算法的具体实现及其性能分析。

    Nov, 2017