Jun, 2017
深度神经网络中的多任务学习概述
An Overview of Multi-Task Learning in Deep Neural Networks
Sebastian Ruder
TL;DR本文概述了多任务学习在深度神经网络中的应用,介绍了常见的两种方法,并讨论了最新的进展,旨在帮助机器学习从业者理解多任务学习的原理并提供选择辅助任务的指南。
Abstract
multi-task learning (MTL) has led to successes in many applications of
machine learning, from natural language processing and speech recognition to
computer vision and drug discovery. This article aims to give a general
overview of MTL, particularly in deep →
发现论文,激发创造
密集预测任务的多任务学习:综述
本文综述了当前深度学习在计算机视觉中的多任务学习领域的最新研究进展,主要关注密集预测任务,从网络架构和优化方法两个角度进行了阐述和总结,旨在探讨多任务共享表示学习的优势和局限性。
Apr, 2020
2020 年代自然语言处理的多任务学习:我们将走向何方?
本文主要综述了自然语言处理领域中最近的多任务学习 (MTL) 的研究进展,重点关注深度学习、迁移学习和预训练等相关方向的最新成果及所面临的挑战。
Jul, 2020
跨越多任务学习和元学习:迈向高效训练和有效适应
本论文研究了多任务学习(MTL)与基于梯度的元学习(GBML)之间的关系,通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性,并通过样例展示了 MTL 作为一阶方法可以代替计算代价高的二阶方法 ——GBML,在大规模数据集上训练时更加有效。
Jun, 2021
自然语言处理中的多任务学习调查:关于任务相关性和训练方法
本文对近期自然语言处理领域中的多任务学习方法进行了调查,总结了两种基于任务相关性的多任务训练方法:联合训练和多步训练。文章对自然语言处理领域中几个下游应用案例进行了说明,总结了任务关系,并讨论了未来的研究方向。
Apr, 2022