Jul, 2023

高效勘探 - 开发策略的近似信息

PDF
TL;DR本文提出了一种新方法，“近似信息最大化（AIM）”，通过使用熵梯度的解析逼近来选择每个时刻要拉哪个臂，从而解决了决策中固有的勘探 - 利用困境，实现了与 Infomax 和 Thompson 抽样相当的性能，同时提高了计算速度，确定性和易处理性。
exploration-exploitation dilemmamulti-armed bandit problemsapproximate information maximizationentropy gradientcomputational speed
发现论文，激发创造
  • 用于赌博游戏的近似信息最大化

    基于熵最大化和自由能最小化的原理，提出一种新类的 Bandit 算法，通过最大化系统内关键变量的信息量近似来选择行动，该方法在经典 Bandit 设置中表现出较强的性能，并在高斯奖励的二臂 Bandit 问题上证明了渐近最优性，为进一步研究信息最大化方法在多臂 Bandit 问题中的应用提供了有效方法。

    Oct, 2023

  • 探索 / 开发策略的元学习：多臂赌博机案例

    本研究提出了一种基于元学习方法的新的解决方案，可以在一个特定的 E/E 问题类别上利用先前的知识，从而找到一个平均表现最佳的候选 E/E 策略。此方法在两种不同的假设空间中都取得较好的实验结果和鲁棒性评估。

    Jul, 2012

  • 贝叶斯激励兼容赌徒探索

    研究说明在互联网经济和医疗决策等环境中，每个决策者对信息进行开采利用，并产生可能有助于未来决策的信息，社会规划者通过信息披露来鼓励代理商在探索和开采之间取得平衡，从而最大化社会福利，文中提供了一个多臂赌博问题的激励兼容算法，其遗憾在所有多臂赌博算法中（不管是否具有激励兼容性）是渐进最优的。

    Feb, 2015

  • 多臂赌博机中的探索与利用分离

    研究了多臂赌博问题中的探索和利用问题，并提出了一种基于非均匀采样策略的算法，用于解决带有分段稳定随机赌博问题的情况，并实现了对于超宽带通道选择的模拟测试。

    May, 2012

  • 信息引导采样的优化学习

    该研究提出了一种新的信息导向采样的方法，它适用于在线优化问题，通过学习部分反馈，决策者需要在探索和利用之间取得平衡。

    Mar, 2014

  • 非静态奖励多臂老虎机问题中的最优探索利用

    本文讨论在不确定性的情况下如何在多臂老虎机问题中进行赌博，提出了一种正式的处理方法，并建立了不同类型的奖励变化和最小化遗憾之间的直接联系。

    May, 2014

  • 带虚拟协助代理的汤普森抽样

    文章提出了一种基于多臂赌博框架的在线顺序决策支持方法，利用 Thompson 抽样来平衡探索与利用的权衡，提出了两种算法用以解决多臂赌博问题，并在理论上给出了广义下界，通过实验证明了该方法在现实世界的数据集上表现的有效性。

    Sep, 2022

  • 强制性探索在赌博问题中的应用

    设计一种不使用奖励分布信息的多臂赌博机算法，通过交替应用贪婪规则与强制探索来实现显著的后悔上界，并提供不同强制探索策略下的问题依赖性后悔上界分析方法，适用于不同奖励分布的固定和分段固定设置。

    Dec, 2023

  • 带背包的赌博机

    介绍了一种称为带背包的赌徒问题的通用模型，结合了随机整数规划和在线学习的方面。该论文提出了两种算法来解决这个问题，它们的报酬接近于信息论上的最优解，但同时带背包的赌徒问题相比传统的赌徒问题更具挑战性。

    May, 2013

  • 在最大化收益的同时减少不平等：改进赌博算法的紧密任何时刻保证

    研究改进多臂老虎机（IMAB）问题在未来奖励不确定的情况下，如何使决策者在考虑潜在长期回报时最大化当前累计奖励，并提出了一种算法来解决此问题，并证明其近似最优。

    Aug, 2022