基于上下文表示的多任务强化学习

ICMLFeb, 2021

基于上下文表示的多任务强化学习

Multi-Task Reinforcement Learning with Context-based Representations

Shagun Sodhani, Amy Zhang, Joelle Pineau

TL;DR提出一种多任务学习的方法，通过元数据构建可组合且可解释的表示，从而改进多任务学习性能，并在一个包含 50 个不同机器人操作任务的具有挑战性的多任务基准 Meta-World 上实现了最先进的结果。

Abstract

The benefit of multi-task learning over single-task learning relies on the ability to use relations across tasks to improve performance on any single task. While sharing representations is an important mechanism to share information across tasks, its success depends on how well the str

multi-task learning metadata composable representations interpretable representations robotic manipulation

发现论文，激发创造

多任务深度强化学习中的知识共享

我们研究了在多任务强化学习中共享表示的益处，以实现深度神经网络的有效使用。我们利用从不同任务中学习、分享共同特性的假设，有助于推广知识，从而比学习单个任务更有效地进行特征提取。通过在广泛使用的强化学习基准上进行实证评估，我们提出了三种强化学习算法的多任务扩展，并证明了在样本效率和性能方面相较于单任务具有显著改进。

Jan, 2024

多任务强化学习中的共享表示学习

本文探讨了多任务强化学习中一种范例，即在一个固定的环境中进行一系列任务的学习，介绍了一种共享结构模型，在状态 - 动作值空间中联合学习优化价值函数，从而提高数据效率并获得更健壮、更具潜力的可传递表征。

Mar, 2016

探究关系上下文的多任务密集预测

本研究考虑在多任务环境中使用公共主干和独立任务特定头部进行密集预测任务，通过捕捉依赖于任务关系的跨任务上下文来找到每个任务预测的最有效方法。研究发现，不同的源 - 目标任务对受益于不同类型的上下文，为了自动化选择过程，我们提出了一种自适应任务关系上下文模块（ATRC），通过神经架构搜索来对可用的上下文池进行采样，并输出部署的最佳配置。该方法在两个重要的多任务基准测试中实现了最先进的性能。

Apr, 2021

多任务学习中图像任务相关性的学习

本文介绍了一种名为 Selective Sharing 的方法，通过在模型训练过程中学习辅助潜在特征，从而自动将任务分组并允许它们相互共享知识，旨在解决多媒体应用常常需要同时处理多个任务，但这些任务关系复杂，领域专家知识不足的问题。在分类、回归和排名任务的 5 个数据集上进行实验，与强基线和最先进的方法进行比较表明，在准确性和参数计数方面始终有所改善。此外，作者还进行了激活区域分析，展示了 Selective Sharing 如何影响所学的表示。

Apr, 2019

审视我们忽略的事物：在基于上下文的离线元强化学习中驾驭任务表征的转移

通过最大化互信息来提高任务表示能够实现性能的单调改善，其中，RETRO 算法重新调整任务表示偏移，从而在离线元强化学习中取得了 SOTA 的渐近性能、训练稳定性和训练时间消耗的实证结果。

May, 2024

基于后继特征的元强化学习

为了实现多任务学习和数据效率，提出了一种基于环境变量和后继特征框架的元强化学习方法，可在减少环境交互的情况下实现具有竞争力的性能和数据效率。

Jul, 2022

关系多任务学习：建模数据和任务之间的关系

本文提出了一种创新的关系多任务学习框架 MetaLink，通过建立连接数据点和任务的知识图谱，利用来自辅助任务的数据点标签预测新任务中的结果，可以在不同领域的 6 个基准数据集上成功地利用不同任务之间的关系，在提出的关系多任务学习设置下，可以优于现有方法，ROC AUC 性能提高了高达 27%。

Mar, 2023

多任务表示学习的好处

讨论了一般从多个任务中学习数据表示的方法，并在多任务学习和学习到学习的两种情况下对此方法进行了理论上的证明。我们通过线性特征学习的特例对方法进行详细说明，并建立起多任务表示学习在独立任务学习上的理论优势的条件，特别是针对重要的半空间学习的例子，我们推导出了多任务表示学习在独立任务学习上的优势随样本数量、任务数量和固有数据维度的函数关系，其他潜在应用包括在再现核希尔伯特空间和多层深度网络中进行多任务特征学习。

May, 2015

混合正交专家的多任务强化学习

多任务强化学习 (MTRL) 通过共享表示，来克服代理程序普适性技能泛化的长期问题，本文介绍了在 MTRL 中学习共享多样性表示的一种新方法，称为 MOORE，它通过专家混合生成的表示的共享子空间来促进任务之间的多样性，研究表明 MOORE 在 MiniGrid 和 MetaWorld 两个基准测试中超过了其他相关基线，成为 MetaWorld 领域的最新技术成果。

Nov, 2023

利用上下文结构生成有用的辅助任务

通过生成和学习有用的辅助任务，最大化经验重用，从而学习解决给定任务的方法，通过计数推理和离线策略方法同时学习这些辅助任务，从而实现多任务强化学习的新框架。

Mar, 2023