WWWJul, 2021

GuideBoot: 深度情境强化学习的引导式自举方法

PDF
TL;DR本研究提出一种 Guided Bootstrap 方法，结合了贝叶斯方法和 Bootstrap 方法，旨在解决复杂深度场景下的探索 / 利用困境，并在合成任务和大规模广告环境上实现了显著性能提升。
exploration/exploitation dilemmacontextual bandit algorithmsbayesian approachesbootstrap methodsdeep contextual bandits
发现论文，激发创造
  • 深度贝叶斯多臂赌博机：在线个性化推荐中的探索

    本文提出了一种使用深度贝叶斯 Bandits 算法的广告推荐系统，其包含探索技术和上下文的特征，以解决推荐系统中的反馈循环问题和算法偏差。

    Aug, 2020

  • 深度上下文多臂赌博机

    本文提出了一个非线性深度学习框架，用于处理上下文多臂赌博机问题，并通过 Thompson sampling 方法来解决探索与开发的取舍。我们采用贝叶斯神经网络的权重后验分布来解决 dropout 和采样之间的联系，并通过自适应学习 dropout 率从而自动调整探索水平。在两个任务上，我们的方法相较于其他方法用于减少损失，并将其应用于 HubSpot 的市场优化问题。

    Jul, 2018

  • 上下文赌博大比拼

    本文是对背景上下文算法的一个全面的研究和综述，重点关注依靠监督学习的优化原则的实用方法，并利用大量的监督学习数据集进行了实证评估。研究发现，最近使用不确定性乐观主义的方法在整体上效果最好，其次是通过上下文多样性暗示进行探索的简单贪心基线。

    Feb, 2018

  • 引导式汤普森抽样与深度探索

    本文介绍了一种基于 Bootstrap 技术的新方法，该方法可用于进行类似于 Thompson 抽样的探索，但是不需要显式地维护或从后验分布中采样。该方法特别适用于探索与深度学习耦合的情况。

    Jul, 2015

  • 上下文推荐系统中的估计问题

    通过整合因果推断文献中的平衡方法，开发了参数和非参数上下文强化学习算法来实现对初始估计偏差问题的更少敏感性，并在域上提供了带有平衡的上下文强化学习的第一个遗憾界分析

    Nov, 2017

  • 自举式上置信域界限算法

    本文提出了一种基于乘数 bootstrap 的非参数和数据相关的 UCB 算法，并进一步将二阶校正融入该算法，在理论上，我们推导出了在比标准次高斯性更弱的尾部假设下的多臂老虎机的问题相关和问题无关的后悔边界，数值结果表明 UCB 算法相比其他基线在一系列多臂和线性老虎机问题中都有显著的降低后悔

    Jun, 2019

  • 垃圾进去，奖励出来：多臂赌博机中探索的自举方法

    本文提出一种基于非参数 bootstrap 和伪奖励的乐观探索策略 Giro，通过对探索历史进行随机化以探索未知的领域，该方法不仅在 Bernoulli Bandit 问题上表现良好，在结构化问题上也可以得到广泛的应用。

    Nov, 2018

  • 带余量自助法探索赌博算法

    提出了一种新的基于扰动的探索算法，称为残差引导探索（ReBoot），能够从概率角度揭示样本误差的分布特性，从而逃离次优解。实验结果表明，该算法在解决非有界奖励的固定赌博机问题时比现有算法更稳健，并表现出与 Thompson 采样方法相当的计算效率。

    Feb, 2020

  • 上下文臂状赌博机的神经利用与探索

    本文通过提出的 EE-Net 策略，使用两个神经网络（开发网络和探索网络）来解决 contextual multi-armed bandits 中的 exploitation-exploration trade-off 问题，提供了一个实例化的 regret upper bound，表现优于相关基线模型。

    May, 2023

  • EE-Net: 上下文 Bandit 中的开发 - 探索神经网络

    本文提出了一种新颖的神经探索策略，在上下文赌博中提高了标准基于 UCB 和 TS 方法的表现，该策略通过使用神经网络来学习潜在奖励函数，并使用另一个神经网络来自适应地学习探索潜在收益，通过决策者来将这两个网络的结果结合起来，实现了更好的表现。

    Oct, 2021