May, 2024

基于 UCB 驱动的多目标增强学习的效用函数搜索

PDF
TL;DR基于多目标强化学习的分解方法，通过使用多个效用函数将多目标问题分解为单目标问题，采用上限置信区间的方法在学习过程的不同阶段高效搜索最有前景的权重向量，以最大化 resulting Pareto front 的超体积。
发现论文，激发创造
  • 基于效用的强化学习：统一单目标与多目标强化学习

    通过引入基于效用的范式，将多目标强化学习的研究扩展到单目标强化学习领域，探讨了多策略学习、风险感知强化学习、折扣率以及安全强化学习等方面带来的潜在益处，并研究了采用基于效用的方法所带来的算法性能影响。

    Feb, 2024

  • PD-MORL: 基于偏好的多目标强化学习算法

    本研究提出了一种新型的多目标强化学习算法 PD-MORL，该算法利用偏好作为指导来更新网络参数，并采用一种新的并行化方法来提高采样效率，可覆盖整个偏好空间，适用于连续机器人任务的可伸缩性更强，相较于以往方法具有更高曲线下面积并且可训练参数量更少。

    Aug, 2022

  • 多目标强化学习元学习

    本文介绍了将多目标强化学习应用到连续控制问题中，通过元学习的方法探索可能的最优策略，以此来近似帕累托最优解并提高计算效率。作者在高自由度的控制问题中验证了该方法。

    Nov, 2018

  • 示范引导的多目标强化学习

    利用先前示范、角重支持、自我演进机制和样本复杂度，我们引入了一种新型方法，即示范引导的多目标强化学习（DG-MORL），以解决多目标强化学习中从头开始训练策略的困难，并通过各种实验证明了 DG-MORL 在挑战性条件下的优越性、稳健性和有效性，同时提供了算法的样本复杂度上界。

    Apr, 2024

  • 基于分解的多目标强化学习：分类与框架

    基于分解的多目标强化学习（MORL/D）引入了一个全面的分类体系，提供了一个有结构的基础，用于对现有和潜在 MORL 作品进行分类。同时，引入的框架展示了其灵活性，并通过各种配置的实现来证明其多功能性。通过提出这个分类体系和框架，本文为 MORL 提供了综合的视角和统一的词汇，不仅有助于算法贡献的识别，还为 MORL 领域的新研究方向奠定了基础，推动了该领域的持续发展。

    Nov, 2023

  • 多目标强化学习和策略适应的广义算法

    提出了一种基于广义 Bellman 方程的多目标强化学习算法，该算法可通过极少量的样本快速适应新任务并生成最优策略。

    Aug, 2019

  • 基于价值的多目标强化学习在随机环境中的实证研究

    本研究针对多目标强化学习中基于值函数的 Q-learning 算法在具有随机状态转移的环境中学习最优策略的问题进行了详细研究，考察了算法的变种以及奖励工程方法，并突出了噪声值估计问题对算法稳定性和收敛性的重要影响。

    Jan, 2024

  • 通过广义策略改进优先级实现高样本效率的多目标学习

    介绍了一种新的多目标强化学习算法，使用广义策略提升来定义优先级，实现了积极的学习策略，在学习中获得更高效的样本，通过使用 Dyna 样式的 MORL 方法识别先前经验最相关的特定代理偏好的策略以提高学习效率，并证明了算法始终收敛于一个有限步数的最优解，同时单调地提高其部分解决方案的质量。

    Jan, 2023

  • 约束多目标强化学习的尺度不变梯度聚集

    多目标强化学习中，为了满足预定义的约束条件，我们提出了一种新的算法 CoMOGA，将原始的约束优化问题转化为带有附加约束的优化问题，并确保转换后的约束与原始目标具有相同效果并不依赖于目标尺度。经实证评估，该方法在满足约束和保持目标尺度不变方面优于其他基线模型。

    Mar, 2024

  • 多目标强化学习中随机环境和局部决策问题的解决

    本研究旨在探讨多目标强化学习算法在具有随机状态转换的环境中学习最优策略的影响因素，并通过实证评估比较了不同的算法变种。研究结果表明设计良好的奖励信号可以改善性能，全局统计的 MORL Q-learning 算法也显示出比基准算法更好的性能，但仍然存在着噪声 Q 值估计问题的影响。

    Nov, 2022