持续学习自然语言新任务中预防灾难性遗忘

KDDFeb, 2023

持续学习自然语言新任务中预防灾难性遗忘

Preventing Catastrophic Forgetting in Continual Learning of New Natural Language Tasks

Sudipta Kar, Giuseppe Castellucci, Simone Filice, Shervin Malmasi, Oleg Rokhlenko

TL;DR该论文提出了一种基于知识蒸馏的增量学习方法，利用未标记数据避免灾难性遗忘，该方法在公开基准测试中表现出显著的效果，能够保存已获取的知识，并对增量添加的任务获得良好的性能。

Abstract

multi-task learning (MTL) is widely-accepted in natural language processing as a standard technique for learning multiple related tasks in one model. Training an MTL model requires having the training data for al

multi-task learning natural language processing knowledge distillation incremental learning unlabeled data

发现论文，激发创造

自然语言处理中的多任务学习：概述

本文综述了多任务学习在自然语言处理领域的应用。在介绍多任务学习的架构和优化方法后，着重讨论了在多个自然语言处理任务上的表现，最后探讨了相关研究方向。

Sep, 2021

2020 年代自然语言处理的多任务学习：我们将走向何方？

本文主要综述了自然语言处理领域中最近的多任务学习 (MTL) 的研究进展，重点关注深度学习、迁移学习和预训练等相关方向的最新成果及所面临的挑战。

Jul, 2020

异步多任务学习

本文提出了一种分布式和异步优化的多任务学习框架，该框架能够有效地解决数据存储在不同地点时的挑战，同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。

Sep, 2016

多任务学习调查

本文综述了多任务学习的算法建模、任务聚类及半监督学习、真实世界应用等方面，并探讨其理论分析和未来方向。

Jul, 2017

多任务学习的知识蒸馏

本文提出了一种基于知识蒸馏的多任务学习方法。通过先学习任务特定的模型，再学习多任务模型，该方法可以解决多任务学习中的不平衡问题，以实现更好的整体性能。

Jul, 2020

基于知识蒸馏的多语言神经机器翻译的终身学习

研究多语言神经机器翻译中的灾难性遗忘问题，并提出基于知识蒸馏的生命周期学习方法，以应对其面临的问题。实验结果显示，该方法能够更好地巩固以前的知识并显著减轻问题。

Dec, 2022

深度神经网络的多任务学习：一项调查

本篇综述介绍了多任务学习在深度神经网络中的方法，重点阐述了体系结构、优化方法和任务关系学习三个方面，并提供了常见的多任务基准的总结。

Sep, 2020

模型个性化：多模态大型语言模型中缓解灾难性遗忘

该论文介绍了多模态大型语言模型（MLLMs）中灾难性遗忘现象的全面分析，并引入了一种名为 Model Tailor 的后训练调整方法。该方法主要保留了预训练参数，同时替换了少量（≤ 10%）的微调参数，相比于预训练，在原始任务上保持了约 99% 的有效性，并在新任务上相比标准微调获得了约 97% 的有效性。此外，该方法适用于多任务场景，并通过在 InstructBLIP 和 LLaVA-1.5 上进行广泛实验证明了显著的任务适应能力，同时保持了内在的预训练能力。

Feb, 2024

视觉场景理解的多任务学习

研究多任务学习在计算机视觉中的应用，通过综述现有方法，提出几种方法处理多任务学习中的重要问题，并在各种基准测试中进行评估，进一步提升了多任务学习的状态。

Mar, 2022

多任务推荐中的跨任务知识蒸馏

提出了一种交叉任务知识蒸馏框架，通过引入辅助任务和校准蒸馏方法，解决了多任务学习中涉及的任务冲突、不一致和同步优化的问题，在实现细粒度推荐、跨任务知识转移等方面有显著效果。

Feb, 2022