Nov, 2023

具有时间注意力的对比模块的多任务强化学习

PDF
TL;DR本文提出了一种称为对比模块与时间注意力（CMTA）的方法，通过对比学习同时结合细粒度的共享模块和时间注意力来解决现有多任务强化学习方法所存在的限制。CMTA 方法能够在任务内减少负迁移，提高模块化方法的泛化能力和性能，在 Meta-World 数据集上的实验结果表明 CMTA 优于单独学习每个任务，并在基准上取得了显著的性能改进。
multi-task reinforcement learningmodular principlenegative transfercontrastive modules with temporal attentiongeneralization capability
发现论文，激发创造
  • 多智能体基于时间对比学习的迁移学习

    该研究介绍了一个用于深度多智能体强化学习的新型迁移学习框架。该方法通过自动组合目标条件策略和时间对比学习，发现有意义的子目标。实验证明，该方法在多智能体协调任务 Overcooked 上能够提高样本效率，解决稀疏奖励和长期规划问题，并且相比基准方法具有更高的可解释性。与最先进的基准方法相比，我们的方法只需要原来的 21.7% 的训练样本就能达到相同或更好的性能。

    Jun, 2024

  • 用于多任务学习的调制模块及其在图像检索中的应用

    本文使用调制模块来增强相关任务之间的耦合度和特征共享，同时通过引入微小的参数进行无关任务的学习分离，使得多任务联合训练更加高效。在两个检索任务上的实验结果表明，与其他多任务学习方法相比，该方法在准确性和存储效率上都具有优势。

    Jul, 2018

  • 一种简单而有效的视频时间对齐方法，具有交叉模态注意力

    本文主要研究了利用语言引导定位视频中的相关片段的问题，提出一种简单直观的跨模态注意力模块 (CMA) 和针对此任务的新回归损失函数来提高定位精度，并在 Charades-STA 和 ActivityNet Captions 数据集上超越了目前最先进的方法。

    Sep, 2020

  • 模块化元学习

    本文提出了一种学习一组神经网络模块并以不同方式组合的策略，并通过重复使用模块来实现组合概括，提高机器人相关问题的性能。

    Jun, 2018

  • 端到端注意力多任务学习

    本文提出了一种新的多任务学习架构，其中包含了任务特定的特征级别的注意力学习，称之为 Multi-Task Attention Network (MTAN)，它可以在任何前馈神经网络的基础上进行端到端训练，本文在图像分类任务和图像到图像预测上进行了验证，发现相对于现有方法，该架构达到了最先进的水平，而且对多任务损失函数的各种加权方案也不敏感。

    Mar, 2018

  • 具有对比翻译记忆的神经机器翻译

    本文提出了一种新的检索增强 NMT 模型，用于对比检索翻译记忆，利用 Hierarchical Group Attention 模块和 Multi-TM contrastive learning 目标函数增加多层面信息收益，实验结果表明，该模型在基准数据集上优于现有算法。

    Dec, 2022

  • 利用模块化网络与任务驱动 先验知识实现高效连续学习

    本文提出一种基于模块化架构和任务驱动的先验知识的学习算法，能够有效地处理长时间序列任务，且在常规连续学习基准测试上表现出了竞争优势。

    Dec, 2020

  • 软模块化的多任务强化学习

    通过引入显式的模块化技术和路由网络，将多任务共享的参数进行重新配置，实现了适用于连续任务的软模块化方法，从而大幅提高了机器人操作任务的效率和性能。

    Mar, 2020

  • 多任务学习中的模块化技能组合

    通过模块化设计并学习潜在的离散技能，该研究在多任务强化学习和少样本学习中实现了更高的样本效率和解释性。

    Feb, 2022

  • 基于异构知识的增强模块化强化学习

    通过使用调解者选择异质性模块和平稳地融合不同类型的知识，提出了增强型模块化强化学习 (AMRL) 框架，并引入了选择机制的变体，即记忆增强型调解者，以利用时间信息，评估结果表明增强传统模块化 RL 的其他形式的异质知识可以提高性能

    Jun, 2023