学习多任务
传统的训练方法在多任务学习 (MTL) 的广度与单任务学习 (STL) 的深度平衡方面常常面临挑战。为了解决这个问题,我们引入了多任务到单任务 (MT2ST) 框架,一种创新的方法,可以将 MTL 的普遍性与 STL 的精确性相结合。我们的工作包括两个策略:' 减弱 ' 和' 切换 '。' 减弱 ' 策略将逐渐减小辅助任务的影响,而 ' 切换 ' 策略则涉及在训练过程中的特定时间点从多任务转向单任务。
Jun, 2024
本文提出了一种分布式和异步优化的多任务学习框架,该框架能够有效地解决数据存储在不同地点时的挑战,同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。
Sep, 2016
通过研究 11 个序列标注任务中的三种多任务学习方法,我们发现在大约 50% 的情况下,联合学习所有 11 个任务可以改善独立学习或成对学习任务的效果。我们还展示了成对多任务学习可以告诉我们哪些任务可以互惠,哪些任务在联合学习时可以受益。我们的一种多任务学习方法产生的任务嵌入还揭示了语义任务和语法任务的自然聚类。我们的研究打开了在自然语言处理中进一步利用多任务学习的大门。
Aug, 2018
本文提出了一种新颖的可控 Pareto 多任务学习框架,用于实现多个任务之间的实时权衡控制,其中超网络生成与偏好条件相关的模型参数,以实现基于不同权衡偏好的模型性能实时控制。
Oct, 2020
本论文研究了多任务学习(MTL)与基于梯度的元学习(GBML)之间的关系,通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性,并通过样例展示了 MTL 作为一阶方法可以代替计算代价高的二阶方法 ——GBML,在大规模数据集上训练时更加有效。
Jun, 2021
为了创建能为多样用户提供服务的机器学习系统,需要不仅实现高的平均性能,还要确保在不同群组中公平的结果。本文研究了多任务学习在最差群组准确性和群组公平性挑战中的潜力,并提出了通过对多任务表示空间进行正则化改进的方法。实验结果表明,我们的正则化多任务学习方法在最差和平均群组结果上都优于现有方法。
Dec, 2023
通过共享相关任务的特征和归纳迁移学习,我们试图增强多任务模型的特征映射,并学习各种任务之间的任务关系,以获取更好的多任务学习效益。本章旨在可视化现有的多任务模型,比较它们的性能、评估多任务模型性能的方法,并讨论在各个领域设计和实现这些模型时遇到的问题以及它们取得的优势和里程碑。
Sep, 2022