Feb, 2020

带余量自助法探索赌博算法

PDF
TL;DR提出了一种新的基于扰动的探索算法，称为残差引导探索（ReBoot），能够从概率角度揭示样本误差的分布特性，从而逃离次优解。实验结果表明，该算法在解决非有界奖励的固定赌博机问题时比现有算法更稳健，并表现出与 Thompson 采样方法相当的计算效率。
perturbation-based explorationbandit algorithmsresidual bootstrap explorationvariance inflationgaussian multi-armed bandits
发现论文，激发创造
  • 垃圾进去，奖励出来：多臂赌博机中探索的自举方法

    本文提出一种基于非参数 bootstrap 和伪奖励的乐观探索策略 Giro，通过对探索历史进行随机化以探索未知的领域，该方法不仅在 Bernoulli Bandit 问题上表现良好，在结构化问题上也可以得到广泛的应用。

    Nov, 2018

  • GuideBoot: 深度情境强化学习的引导式自举方法

    本研究提出一种 Guided Bootstrap 方法，结合了贝叶斯方法和 Bootstrap 方法，旨在解决复杂深度场景下的探索 / 利用困境，并在合成任务和大规模广告环境上实现了显著性能提升。

    Jul, 2021

  • 自举式上置信域界限算法

    本文提出了一种基于乘数 bootstrap 的非参数和数据相关的 UCB 算法，并进一步将二阶校正融入该算法，在理论上，我们推导出了在比标准次高斯性更弱的尾部假设下的多臂老虎机的问题相关和问题无关的后悔边界，数值结果表明 UCB 算法相比其他基线在一系列多臂和线性老虎机问题中都有显著的降低后悔

    Jun, 2019

  • 随机线性赌博机的扰动历史探索

    提出了一种新的在线算法 LinPHE，用于最小化随机线性赌博机中的累积遗憾，该算法通过构建扰动历史来达到目的，并获得了关于线性模型的高性能预测模型，在包括逻辑回归模型的各种场景中都具有可行性。

    Mar, 2019

  • 贝叶斯优化中的随机探索：最优遗憾和计算效率

    使用高斯过程模型进行贝叶斯优化，以及基于核的奖励优化方法的研究，其中采用从分布中抽取的随机样本进行域的探索。通过该随机探索方法，我们证明其可以实现最优的误差率，并且我们的方法在无噪声和有噪声环境下均具有理想的后悔保证，同时避免了昂贵的无凸优化问题，解决了一个 COLT 开放性问题。

    Oct, 2023

  • 引导式汤普森抽样与深度探索

    本文介绍了一种基于 Bootstrap 技术的新方法，该方法可用于进行类似于 Thompson 抽样的探索，但是不需要显式地维护或从后验分布中采样。该方法特别适用于探索与深度学习耦合的情况。

    Jul, 2015

  • 随机和对抗多臂赌博问题中扰动的最优性

    本研究探讨了在随机和对抗多臂老虎机问题中，基于扰动的算法的最优性。我们提供了对于子 Weibull 和有界扰动的统一遗憾分析，当收益是次高斯分布时。我们的界限对于具有参数 2 的子 Weibull 扰动是实例最优的，并且具有匹配的下支界。对于对于在支持的极端点处有足够概率质量的所有有界扰动，我们都提供了实例最优边界。在对抗设置中，我们使用离散选择理论和极值理论的工具，证明了两种自然解决方法的严格障碍。我们的结果表明，如果最优扰动存在，则将是 Frechet 类型的。

    Feb, 2019

  • 深度贝叶斯多臂赌博机：在线个性化推荐中的探索

    本文提出了一种使用深度贝叶斯 Bandits 算法的广告推荐系统，其包含探索技术和上下文的特征，以解决推荐系统中的反馈循环问题和算法偏差。

    Aug, 2020

  • 通过引导误差减少稳定离轨策略 Q 学习

    该研究针对离线策略评估的弱点，探讨了如何通过约束动作选择减少 Bellman backup 带来的 bootstrapping error，提出了一种名为 BEAR 的实用算法，在不同的离线策略分布上都表现出较强的鲁棒性。

    Jun, 2019

  • 通过扰动奖励学习神经上下文强化学习

    利用扰动更新神经网络，消除显式探索和计算开销，可在标准规则条件下实现 $\tilde {O}(\tilde {d}\sqrt {T})$ 的遗憾上限，是一种高效且有效的神经自适应算法。

    Jan, 2022