混合正交专家的多任务强化学习

Nov, 2023

Multi-Task Reinforcement Learning with Mixture of Orthogonal Experts

Ahmed Hendawy, Jan Peters, Carlo D'Eramo

TL;DR多任务强化学习 (MTRL) 通过共享表示，来克服代理程序普适性技能泛化的长期问题，本文介绍了在 MTRL 中学习共享多样性表示的一种新方法，称为 MOORE，它通过专家混合生成的表示的共享子空间来促进任务之间的多样性，研究表明 MOORE 在 MiniGrid 和 MetaWorld 两个基准测试中超过了其他相关基线，成为 MetaWorld 领域的最新技术成果。

Abstract

multi-task reinforcement learning (MTRL) tackles the long-standing problem of endowing agents with skills that generalize across a variety of problems. To this end, sharing representations plays a fundamental role in capturing both unique and common characteristics of the tasks. Tasks

multi-task reinforcement learning representation learning mixture of orthogonal experts shared representations state-of-the-art

发现论文，激发创造

多任务强化学习中的高效短视探索

通过在多个任务上进行训练，可以证明多任务强化学习（MTRL）中基于共享结构的一般性策略共享算法具有适用于样本高效率的 myopic 探索设计，这是首次理论证明了 MTRL 的 “探索优势”。而多样性任务集的验证实验证明任务选择与自动课程学习相一致，在合成机器人控制环境的实验中改善了样本效率。

Mar, 2024

强化学习的离线多任务表示学习

我们研究了强化学习中的离线多任务表示学习，理论上研究了离线多任务低秩强化学习，并提出了一种名为 MORL 的用于离线多任务表示学习的新算法。此外，我们还研究了奖励缺失、离线和在线情景下的下游强化学习，在其中引入了一个与上游离线任务共享相同表示的新任务。我们的理论结果证明了使用上游离线任务学到的表示而不是直接学习低秩模型的表示的好处。

Mar, 2024

通过多任务表示学习理论改进少样本学习

本文考虑多任务表示学习的框架，总结最近的研究进展，指出基于梯度和基于度量的算法在实践中的根本差异并通过新的基于光谱的正则项改进元学习方法进行实验，以实现 few-shot 分类任务。

Oct, 2020

通过选择性行为共享实现高效多任务强化学习

多任务强化学习中，通过共享行为可大幅提高探索效率和最终性能

Feb, 2023

审视我们忽略的事物：在基于上下文的离线元强化学习中驾驭任务表征的转移

通过最大化互信息来提高任务表示能够实现性能的单调改善，其中，RETRO 算法重新调整任务表示偏移，从而在离线元强化学习中取得了 SOTA 的渐近性能、训练稳定性和训练时间消耗的实证结果。

May, 2024

多任务强化学习中的共享表示学习

本文探讨了多任务强化学习中一种范例，即在一个固定的环境中进行一系列任务的学习，介绍了一种共享结构模型，在状态 - 动作值空间中联合学习优化价值函数，从而提高数据效率并获得更健壮、更具潜力的可传递表征。

Mar, 2016

共享多智能体强化学习中的多样性庆祝

本研究介绍了多智能体强化学习中多样性的重要性，并提出了信息理论正则化和共享神经网络架构中的代理特定模块的方法，以促进代理之间的协作和多样性，实验结果表明该方法在 Google Research Football 和超难的星际争霸 II 微观管理任务上取得了最先进的表现。

Jun, 2021

基于上下文表示的多任务强化学习

提出一种多任务学习的方法，通过元数据构建可组合且可解释的表示，从而改进多任务学习性能，并在一个包含 50 个不同机器人操作任务的具有挑战性的多任务基准 Meta-World 上实现了最先进的结果。

Feb, 2021

PaCo: 参数组合多任务强化学习

本文介绍了一种名为 PaCo 的参数组合方法，用于解决多任务强化学习中关于参数共享的挑战，并在 Meta-World 基准测试中取得了最先进的性能。

Oct, 2022

异质多任务学习与专家多样性

提出了一种名为 MMoEEx 的多门分层专家模型用于解决多任务学习（MTL）中的挑战，旨在优化单个模型以同时预测具有不同特征的多个任务，我们采用了一种方法来引入专家间的多样性，以创造更适合高度不平衡和异构 MTL 学习的表示，并采用两步优化方法在梯度水平上平衡任务。

Jun, 2021