ICMLFeb, 2016

单任务和多任务优化的最小后悔搜索

PDF
TL;DR本文提出了最小后悔搜索 (MRS)，它是一种新颖的贝叶斯优化获得函数。MRS 类似于信息论方法如熵搜索 (ES)，但它的目标是在评论过的结果中减少对最优结果的简单后悔，实证结果证明，相比于 ES，MRS 有更低的极端的简单后悔。本文还对合成的单任务优化问题以及模拟的多任务机器人控制问题进行了实验。
minimum regret searchbayesian optimizationinformation-theoretic approachessimple regretmulti-task robotic control
发现论文，激发创造
  • 用于马尔可夫决策过程在线规划的简单遗憾优化

    本针对 MDPs 中的在线规划问题，提出一种基于 MCTS2e 的新型蒙特卡罗树搜索算法 BRUE，其能够以指数速度降低简单遗憾和错误概率，并配合遗忘学习进行推广。结果表明，BRUE 不仅提供了优越的性能保证，而且在实践中也非常有效。

    Jun, 2012

  • 黑盒预测优化的渐近最优遗憾

    考虑了预测 - 优化模式的决策制定方法，通过在历史数据上训练监督学习模型，再利用该模型在新环境中进行未来的二进制决策以最大化预测奖励，提出了一种新的损失函数 Empirical Soft Regret (ESR) 来显著改善模型训练中的奖励，该方法在新闻推荐和个性化医疗决策问题上明显优于现有算法。

    Jun, 2024

  • 高效贝叶斯优化的最大值熵搜索

    提出一种新的最大值熵搜索（Max-value Entropy Search，MES）标准，用于提高贝叶斯优化方法的计算效率和实现遗憾界规范，该方法在高维问题上效率更高且性能良好。

    Mar, 2017

  • 简单后悔最小化的元学习

    一个 meta-learning 框架有效的解决了 bandit 任务中的 regret minimization 问题，提出了贝叶斯和频率主义算法，评估了不同的环境。

    Feb, 2022

  • 顺序任务设置中最小化局部遗憾的谬误

    强化学习中，研究任务间具有变化时，通过最小化后悔累积可以实现更好的结果，即在每个任务中过度探索，尤其在任务之间出现重大变化时。

    Mar, 2024

  • 最小化 Thompson 采样后悔率对标准差比率 (TS-RSR)：一种可证明高效的批量贝叶斯优化算法

    该论文提出了一种新的批处理贝叶斯优化方法，通过最小化概率预测均值或不确定性来协调每个批次中选择的动作，以减少冗余，并在非凸测试函数上表现出卓越的性能。

    Mar, 2024

  • 优化最小后悔度的无监督环境设计

    无监督环境设计中，使用基于后悔最小化的最小极大后悔 (BLP) 目标进行训练，通过算法 ReMiDi 实现回报最小化，克服了智能体在极大后悔对手生成的环境配置中学习停滞的问题。

    Feb, 2024

  • 带约束的多目标贝叶斯优化的最大值熵搜索

    提出一种名为 MESMOC 的新方法来解决大规模设计问题的优化，通过使用输出空间熵的获得函数，选择评估输入序列来发现高质量的帕累托集解决方案同时满足约束条件。

    Sep, 2020

  • 通过极小极大对偶视角看最优遗憾的随机观点

    通过 von Neumann 最小极大定理，我们研究了在线凸优化游戏的最优策略的遗憾。我们证明了，在这种对抗性环境中，最优策略的遗憾与随机进程设置中经验最小化算法的行为密切相关：它等于最小期望损失的总和与最小经验损失之间的差的最大值。我们展示了最优策略的遗憾具有自然的几何解释，因为它可以被视为一个上凸函数的 Jensen 不等式中的差距。利用此表达式，我们对各种在线学习问题的最优策略给出了上下界限制。我们的方法提供了无需构建学习算法的上界，而提供了对抗者的明确最优策略的下界。

    Mar, 2009

  • 盲资源分配的随机直接搜索方法的遗憾分析

    研究在预算分配中使用直接搜索方法，提出了一种改进的算法来加速梯度下降方向的识别，并将算法的累计遗憾度分析为 T 的 2/3 次方的上限。

    Oct, 2022