约束多目标强化学习的尺度不变梯度聚集
利用先前示范、角重支持、自我演进机制和样本复杂度,我们引入了一种新型方法,即示范引导的多目标强化学习(DG-MORL),以解决多目标强化学习中从头开始训练策略的困难,并通过各种实验证明了 DG-MORL 在挑战性条件下的优越性、稳健性和有效性,同时提供了算法的样本复杂度上界。
Apr, 2024
本研究提出了一种新型的多目标强化学习算法 PD-MORL,该算法利用偏好作为指导来更新网络参数,并采用一种新的并行化方法来提高采样效率,可覆盖整个偏好空间,适用于连续机器人任务的可伸缩性更强,相较于以往方法具有更高曲线下面积并且可训练参数量更少。
Aug, 2022
本文介绍了将多目标强化学习应用到连续控制问题中,通过元学习的方法探索可能的最优策略,以此来近似帕累托最优解并提高计算效率。作者在高自由度的控制问题中验证了该方法。
Nov, 2018
介绍了一种新的多目标强化学习算法,使用广义策略提升来定义优先级,实现了积极的学习策略,在学习中获得更高效的样本,通过使用 Dyna 样式的 MORL 方法识别先前经验最相关的特定代理偏好的策略以提高学习效率,并证明了算法始终收敛于一个有限步数的最优解,同时单调地提高其部分解决方案的质量。
Jan, 2023
本研究提出了一种旨在将非线性 MORL 与广义 MORL 的优势相结合的新方法 —— 广义阈值词典排序 (gTLO),并在非线性 MORL 的标准基准和制造过程控制领域的实际应用中,介绍了该算法的深度强化学习实现,并取得了令人鼓舞的结果。
Apr, 2022
本研究旨在探讨多目标强化学习算法在具有随机状态转换的环境中学习最优策略的影响因素,并通过实证评估比较了不同的算法变种。研究结果表明设计良好的奖励信号可以改善性能,全局统计的 MORL Q-learning 算法也显示出比基准算法更好的性能,但仍然存在着噪声 Q 值估计问题的影响。
Nov, 2022
本文提出了一种新的数据驱动离线 MORL 设置,介绍了专门针对离线设置的数据集 D4MORL,提出了一种基于 Pareto-Efficient Decision Agents 算法的决策代理,这种代理在行为策略上表现十分接近,在适当的情况下提供了 Pareto-front 的良好近似,可以通过超体积和稀疏度度量来衡量。
Apr, 2023
基于多目标强化学习的分解方法,通过使用多个效用函数将多目标问题分解为单目标问题,采用上限置信区间的方法在学习过程的不同阶段高效搜索最有前景的权重向量,以最大化 resulting Pareto front 的超体积。
May, 2024
我们提出了多目标强化主动学习 (Multi-Objective Reinforced Active Learning, MORAL) 方法,通过维护标量化权重的分布,交互式地调整深度强化学习代理向各种偏好的方向发展,从而将社会规范的不同展示组合成帕累托最优策略,并消除了计算多个策略的需要。我们在两种场景中对 MORAL 的有效性进行了实证验证,并将其视为学习奖励的多目标强化学习 (Multi-objective RL) 的一步,弥合了当前奖励学习和机器伦理文献之间的差距。
Dec, 2021