Nov, 2023

基于分解的多目标强化学习：分类与框架

PDF
TL;DR基于分解的多目标强化学习（MORL/D）引入了一个全面的分类体系，提供了一个有结构的基础，用于对现有和潜在 MORL 作品进行分类。同时，引入的框架展示了其灵活性，并通过各种配置的实现来证明其多功能性。通过提出这个分类体系和框架，本文为 MORL 提供了综合的视角和统一的词汇，不仅有助于算法贡献的识别，还为 MORL 领域的新研究方向奠定了基础，推动了该领域的持续发展。
multi-objective reinforcement learningmorl/dtaxonomyframeworkresearch avenues
发现论文，激发创造
  • 示范引导的多目标强化学习

    利用先前示范、角重支持、自我演进机制和样本复杂度，我们引入了一种新型方法，即示范引导的多目标强化学习（DG-MORL），以解决多目标强化学习中从头开始训练策略的困难，并通过各种实验证明了 DG-MORL 在挑战性条件下的优越性、稳健性和有效性，同时提供了算法的样本复杂度上界。

    Apr, 2024

  • 多目标强化学习元学习

    本文介绍了将多目标强化学习应用到连续控制问题中，通过元学习的方法探索可能的最优策略，以此来近似帕累托最优解并提高计算效率。作者在高自由度的控制问题中验证了该方法。

    Nov, 2018

  • 基于 UCB 驱动的多目标增强学习的效用函数搜索

    基于多目标强化学习的分解方法，通过使用多个效用函数将多目标问题分解为单目标问题，采用上限置信区间的方法在学习过程的不同阶段高效搜索最有前景的权重向量，以最大化 resulting Pareto front 的超体积。

    May, 2024

  • gTLO：通用的、非线性的多目标深度强化学习方法

    本研究提出了一种旨在将非线性 MORL 与广义 MORL 的优势相结合的新方法 —— 广义阈值词典排序 (gTLO)，并在非线性 MORL 的标准基准和制造过程控制领域的实际应用中，介绍了该算法的深度强化学习实现，并取得了令人鼓舞的结果。

    Apr, 2022

  • 多目标优化的深度强化学习

    本文提出了一种通过深度强化学习和神经网络实现的多目标优化问题解决方案，其中采用分解思想将问题分解为一组标量优化子问题并针对每个子问题建立神经网络模型。通过邻域参数传递策略和 DRL 训练算法共同优化所有子问题的模型参数，并利用训练好的神经网络模型直接得到帕累托最优解。其中将多目标旅行商问题作为研究对象，使用 DRL-MOA 方法建模子问题为指针网络并与其他基准方法进行对比，在实验中表现出了较强的泛化能力和快速解决速度。

    Jun, 2019

  • PD-MORL: 基于偏好的多目标强化学习算法

    本研究提出了一种新型的多目标强化学习算法 PD-MORL，该算法利用偏好作为指导来更新网络参数，并采用一种新的并行化方法来提高采样效率，可覆盖整个偏好空间，适用于连续机器人任务的可伸缩性更强，相较于以往方法具有更高曲线下面积并且可训练参数量更少。

    Aug, 2022

  • 离线多目标强化学习扩展帕累托高效决策

    本文提出了一种新的数据驱动离线 MORL 设置，介绍了专门针对离线设置的数据集 D4MORL，提出了一种基于 Pareto-Efficient Decision Agents 算法的决策代理，这种代理在行为策略上表现十分接近，在适当的情况下提供了 Pareto-front 的良好近似，可以通过超体积和稀疏度度量来衡量。

    Apr, 2023

  • 多目标强化学习中随机环境和局部决策问题的解决

    本研究旨在探讨多目标强化学习算法在具有随机状态转换的环境中学习最优策略的影响因素，并通过实证评估比较了不同的算法变种。研究结果表明设计良好的奖励信号可以改善性能，全局统计的 MORL Q-learning 算法也显示出比基准算法更好的性能，但仍然存在着噪声 Q 值估计问题的影响。

    Nov, 2022

  • 多目标强化学习和策略适应的广义算法

    提出了一种基于广义 Bellman 方程的多目标强化学习算法，该算法可通过极少量的样本快速适应新任务并生成最优策略。

    Aug, 2019

  • 基于效用的强化学习：统一单目标与多目标强化学习

    通过引入基于效用的范式，将多目标强化学习的研究扩展到单目标强化学习领域，探讨了多策略学习、风险感知强化学习、折扣率以及安全强化学习等方面带来的潜在益处，并研究了采用基于效用的方法所带来的算法性能影响。

    Feb, 2024