多任务学习调查
本文提出了一种分布式和异步优化的多任务学习框架,该框架能够有效地解决数据存储在不同地点时的挑战,同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。
Sep, 2016
多任务学习(MTL)是一个灵活且有效的学习范式,结合了任务特定的和共享的信息,同时解决了多个相关任务。本综述以技术层面从传统方法到深度学习和最新的预训练基于模型的最新趋势,对 MTL 的发展进行了全面概述,并将 MTL 技术系统地分类为正则化、关系学习、特征传播、优化和预训练五个关键领域。综述还揭示了 MTL 从处理一组固定任务发展为接受无任务或模态限制的更灵活方法,探讨了任务提示和不可知训练以及 ZSL 的概念,释放了这种历史上备受追捧的学习范式的潜力。综述旨在提供研究界对 MTL 从 1997 年到 2023 年的最新进展的全面概述,同时探讨当前挑战和未来可能性,为 MTL 研究的机遇和潜在路径指明方向。
Apr, 2024
本论文研究了多任务学习(MTL)与基于梯度的元学习(GBML)之间的关系,通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性,并通过样例展示了 MTL 作为一阶方法可以代替计算代价高的二阶方法 ——GBML,在大规模数据集上训练时更加有效。
Jun, 2021
本文概述了多任务学习在深度神经网络中的应用,介绍了常见的两种方法,并讨论了最新的进展,旨在帮助机器学习从业者理解多任务学习的原理并提供选择辅助任务的指南。
Jun, 2017
多任务学习通过使用共享资源同时计算多个输出,具有比传统方法更低的内存需求和推理时间,本综述主要研究多任务学习如何在不同的部分监督设置下应用以解决相关挑战。
Jul, 2023
本文提出了一种新颖的可控 Pareto 多任务学习框架,用于实现多个任务之间的实时权衡控制,其中超网络生成与偏好条件相关的模型参数,以实现基于不同权衡偏好的模型性能实时控制。
Oct, 2020