Jun, 2024

多任务强化学习中的共享独特特征及任务感知优先采样

PDF
TL;DR在多任务强化学习领域，我们观察到当前最先进的方法存在性能不平衡问题。为解决这一问题，我们提出了一种名为 STARS 的新的有效方法，它包含两种新颖的策略：共享独特特征提取器和任务感知的优先采样。经过在主流的 Meta-World 基准测试中的实验证明，STARS 在统计意义上优于当前最先进的方法，并且缓解了性能不平衡问题。此外，我们还可视化了学到的特征，以支持我们的论述并增强 STARS 的可解释性。
multi-task reinforcement learningperformance imbalance issuestarsshared-unique feature extractortask-aware prioritized sampling
发现论文，激发创造
  • 混合正交专家的多任务强化学习

    多任务强化学习 (MTRL) 通过共享表示，来克服代理程序普适性技能泛化的长期问题，本文介绍了在 MTRL 中学习共享多样性表示的一种新方法，称为 MOORE，它通过专家混合生成的表示的共享子空间来促进任务之间的多样性，研究表明 MOORE 在 MiniGrid 和 MetaWorld 两个基准测试中超过了其他相关基线，成为 MetaWorld 领域的最新技术成果。

    Nov, 2023

  • 通过选择性行为共享实现高效多任务强化学习

    多任务强化学习中，通过共享行为可大幅提高探索效率和最终性能

    Feb, 2023

  • 多任务强化学习中的高效短视探索

    通过在多个任务上进行训练，可以证明多任务强化学习（MTRL）中基于共享结构的一般性策略共享算法具有适用于样本高效率的 myopic 探索设计，这是首次理论证明了 MTRL 的 “探索优势”。而多样性任务集的验证实验证明任务选择与自动课程学习相一致，在合成机器人控制环境的实验中改善了样本效率。

    Mar, 2024

  • 通过多任务表示学习理论改进少样本学习

    本文考虑多任务表示学习的框架，总结最近的研究进展，指出基于梯度和基于度量的算法在实践中的根本差异并通过新的基于光谱的正则项改进元学习方法进行实验，以实现 few-shot 分类任务。

    Oct, 2020

  • 多任务强化学习中的共享表示学习

    本文探讨了多任务强化学习中一种范例，即在一个固定的环境中进行一系列任务的学习，介绍了一种共享结构模型，在状态 - 动作值空间中联合学习优化价值函数，从而提高数据效率并获得更健壮、更具潜力的可传递表征。

    Mar, 2016

  • 多任务强化学习的预测任务特定层

    通过引入新的架构 Projected Task-Specific Layers (PTSL)，该论文通过使用特定任务层进行共享和可变任务信息的密集修正，从而成功地在多任务强化学习中解决了任务间的负面干扰，并在 Meta-World 的 MT10 和 MT50 基准测试中优于现有技术。

    Sep, 2023

  • 多任务深度强化学习中的知识共享

    我们研究了在多任务强化学习中共享表示的益处，以实现深度神经网络的有效使用。我们利用从不同任务中学习、分享共同特性的假设，有助于推广知识，从而比学习单个任务更有效地进行特征提取。通过在广泛使用的强化学习基准上进行实证评估，我们提出了三种强化学习算法的多任务扩展，并证明了在样本效率和性能方面相较于单任务具有显著改进。

    Jan, 2024

  • 主动采样学习多任务

    提出了一个高效的多任务学习框架，该框架采用主动学习原则来解决多个目标导向任务的问题，通过对 7 个多任务实例进行测试，实现了竞争性的多任务表现。

    Feb, 2017

  • 通过任务特定的动作修正实现高效多任务强化学习

    多任务强化学习中，通过引入任务特定的动作修正方法可以提高机器人的泛化能力，解决任务之间的冲突和负面干扰问题。该方法通过将策略学习分解为共享策略和动作修正策略，并引入稀疏奖励和拉格朗日方法，有效解决多目标多任务强化学习问题，实验结果显示其在样本效率和行为执行有效性上明显优于现有的方法。

    Apr, 2024

  • 增强机器人操作：在元世界中利用多任务强化学习和单生命强化学习的力量

    该研究旨在用多任务软演员 - 评论家算法（MT-SAC）培训机械臂，以使其能够在 Meta World 环境中成功执行七项不同任务。接下来，训练模型将作为单一生命强化学习算法的先前数据，并通过在各种目标位置（新颖位置）进行测试来评估 MT-QWALE 算法的效果。最后，通过比较经过训练的 MT-SAC 和 MT-QWALE 算法，发现 MT-QWALE 的表现更好。消融研究表明即使隐藏了最终目标位置，MT-QWALE 也能够成功地完成任务，并且所需的步骤略多。

    Oct, 2023