多任务学习中的模块化技能组合

Feb, 2022

Combining Modular Skills in Multitask Learning

Edoardo M. Ponti, Alessandro Sordoni, Yoshua Bengio, Siva Reddy

TL;DR通过模块化设计并学习潜在的离散技能，该研究在多任务强化学习和少样本学习中实现了更高的样本效率和解释性。

Abstract

A modular design encourages neural models to disentangle and recombine different facets of knowledge to generalise more systematically to new tasks. In this work, we assume that each task is associated with a subset of latent discrete skills from a (potentially small) inventory. In tur

modular design latent skills multitask reinforcement learning few-shot adaptation sample efficiency

发现论文，激发创造

软模块化的多任务强化学习

通过引入显式的模块化技术和路由网络，将多任务共享的参数进行重新配置，实现了适用于连续任务的软模块化方法，从而大幅提高了机器人操作任务的效率和性能。

Mar, 2020

模块化元学习

本文提出了一种学习一组神经网络模块并以不同方式组合的策略，并通过重复使用模块来实现组合概括，提高机器人相关问题的性能。

Jun, 2018

多任务学习的参数高效模块可定制组合

模块化和可组合的迁移学习是参数高效微调领域的新兴方向，它使神经网络能更好地组织各种知识方面，提高跨任务泛化能力；本文介绍了一种新的方法 Customized Polytropon C-Poly，它结合了任务共同技能和任务特定技能，并使用低秩技术对技能参数进行高度参数化；每个任务关联着可定制数量的专属专业技能，并从与同伴任务共享的技能中受益；共同学习了技能分配矩阵；通过在 Super-NaturalInstructions 和 SuperGLUE 基准上进行广泛实验评估，证明了 C-Poly 优于完全共享，任务特定和技能不可区分的基线方法，显著提高了多任务学习场景下的样本效率。

Dec, 2023

多任务学习中潜在任务结构的灵活建模

使用柔性的、非参数的贝叶斯模型在多任务学习中建立混合的因子分析器结构，以解决什么样的隐含任务结构最适合于一个给定的多任务学习问题通常不清楚的问题，并给出了变分推断算法用于这个模型。

Jun, 2012

SkillNet-X: 多语言多任务模型与稀疏激活技能

提出了一种名为 SkillNet-X 的多语言多任务模型，使用 Transformer 模型和技能模块，以利用目标任务和目标语言的相关知识，实现在不同语言和不同任务之间切换，相对于任务特定基准和两个多任务学习基准表现更好，并在几乎所有数据集上表现出了更好的性能。

Jun, 2023

具有策略草图的模块化多任务强化学习

本论文提出了一种基于策略草图的多任务深度强化学习框架，该框架实现了通过关联每个子任务与模块化子策略、跨任务共享子策略的方式来提高任务性能，并自然地产生可解释的基础行为库，以便迅速适应新任务。

Nov, 2016

利用模块化网络与任务驱动先验知识实现高效连续学习

本文提出一种基于模块化架构和任务驱动的先验知识的学习算法，能够有效地处理长时间序列任务，且在常规连续学习基准测试上表现出了竞争优势。

Dec, 2020

用于多任务学习的调制模块及其在图像检索中的应用

本文使用调制模块来增强相关任务之间的耦合度和特征共享，同时通过引入微小的参数进行无关任务的学习分离，使得多任务联合训练更加高效。在两个检索任务上的实验结果表明，与其他多任务学习方法相比，该方法在准确性和存储效率上都具有优势。

Jul, 2018

设计混合专家作为模块化多任务学习者

该研究提出了 Mod-Squad 模型，使用模块化结构将组内的专家与任务相匹配，并在训练过程中优化匹配过程以对抗多任务学习的挑战。实验表明本方法在任务数量和训练集规模扩大时表现强于其他方法。

Dec, 2022

模块化网络：学习分解神经计算

本研究提出了一种基于条件计算的灵活选择神经模块的训练算法，该算法能够提高深度学习中的模型容量而不需要过多的计算资源和训练时间，并且在图像识别和语言建模任务中实现了比现有方法更好的性能。

Nov, 2018