May, 2023

经典规划中基于尺度自适应的探索与利用平衡

PDF
TL;DR提出了一种基于 UCB1-Normal 赌博机算法的 MCTS / THTS（Monte Carlo Tree Search / Trial Based Heuristic Tree Search）算法，该算法可以处理具有不同尺度的奖励分布，在经典计划中使用有更好的性能表现。
发现论文，激发创造
  • 极值蒙特卡洛树搜索

    在本文中，我们进一步深入研究了计划任务中使用的理想赌博机，并提出了两种赌博机 UCB1-Uniform/Power，然后将它们应用于传统计划的 MCTS 中，我们正式证明了它们的遗憾界限，并在传统计划中实证展示了它们的性能。

    May, 2024

  • 奖励漂移下的多臂赌博机激励探索

    本文研究了多臂赌博机问题中的激励探索方法，分析了偏差反馈对于 UCB 算法、E - 贪心算法以及汤普森抽样算法表现的影响。结果表明这些算法在偏差反馈下产生了 $log (T)$ 的遗憾和补偿，在激励探索方面是有效的。

    Nov, 2019

  • 基于图的赌博机学习

    本论文研究了一种称为图赌博机的多臂赌博机扩展问题，提出了一种能够利用乐观原则平衡长期探索与开发的学习算法 G-UCB，并证明其能够达到理论最优的遗憾界，数值实验结果表明该算法优于其他基准算法。

    Sep, 2022

  • 多臂赌博机中的分布式合作决策

    我们研究了在分布式协同决策中探索和利用的权衡在多臂赌博机问题的背景下。对于分布式协同 MAB 问题，我们设计了合作 UCB 算法，该算法包括两个交错的分布式过程:（i）运行共识算法来估计回报，以及（ii）基于上置信区间的启发式选择臂。我们进行了严格的合作 UCB 算法性能分析，并描述了通信图结构对群体决策性能的影响。

    Dec, 2015

  • 蒙特卡罗规划：理论上的快速收敛遇见实际上的高效率

    该研究通过合理连接基于 MCTS 的两种不同种类算法来实现在短时间内寻求合理 good action，同时保持 BRUE 算法的优秀的收敛性能和指数级性能提高的保障。

    Sep, 2013

  • 机会主义赌博机的自适应勘探和开发平衡

    提出了一种新型武器 - 机会主义强盗，研究了不同环境条件下拉取次优武器的损失，提出了一种自适应上置信界算法（AdaUCB）来平衡开采 - 探索的权衡，证明了 AdaUCB 的性能优于传统算法，并在合成数据和真实世界的实验结果中得到了验证。

    Sep, 2017

  • 少探索即可

    基于多臂赌博问题，通过引入调整的奖励项，考虑任务的难度，该研究提出的 UCB^τ 算法在全面的后悔和风险分析中被验证出具有理论上的强大性能，通过与标准 UCB 算法和 Thompson Sampling 算法在合成数据集上的比较评估，UCB^τ 不仅在有效性上表现出色，而且在各种环境条件和超参数设置下具有更低的风险。

    Oct, 2023

  • 树搜索的贪心算法

    本文从树搜索、乐观算法和上置信界等方面入手，研究了平滑树和无限树的效率和有限后悔算法，提出了基于 UCB 的乐观算法和 Flat-UCB 算法，并在一个全局优化问题中展示了这些方法的应用。

    Mar, 2007

  • 非静态奖励多臂老虎机问题中的最优探索利用

    本文讨论在不确定性的情况下如何在多臂老虎机问题中进行赌博，提出了一种正式的处理方法，并建立了不同类型的奖励变化和最小化遗憾之间的直接联系。

    May, 2014

  • 通过广义加权平均对上置信界算法进行简单修改

    提出了一种新的广义上限置信界 (UCB) 算法 (GWA-UCB1)，通过扩展 UCB1 来解决多臂赌博机问题，结合广义加权平均数，提供了一种适用于各种问题设置的有效算法。

    Aug, 2023