Aug, 2023

多任务学习的尺度不变任务平衡方法

PDF
TL;DR多任务学习中的任务平衡问题通过引入尺度不变的多任务学习方法 (SI-MTL) 得到缓解，SI-MTL 包含对任务损失进行的对数变换以保持尺度不变，并采用尺度不变的梯度平衡方法 (SI-G) 来规范化所有任务梯度，实验证明 SI-G 的有效性以及 SI-MTL 的最先进性能。
multi-task learningtask-balancingscale-invariantloss/gradient scalesbenchmark datasets
发现论文，激发创造
  • 多任务学习中的可改进的间隙平衡

    在多任务学习中，本文提出了两种新的改进空间平衡（IGB）算法，一种采用简单的启发式方法，另一种首次运用深度强化学习。通过结合梯度平衡和改进空间平衡，实验证明我们的 IGB 算法在通过损失平衡的多任务学习中取得了最佳结果，并且与梯度平衡相结合时进一步改进了性能。

    Jul, 2023

  • 异步多任务学习

    本文提出了一种分布式和异步优化的多任务学习框架，该框架能够有效地解决数据存储在不同地点时的挑战，同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。

    Sep, 2016

  • 公平的多任务学习

    本文提出了一种名为 EMTL 的新型多任务学习优化方法，通过正则化不同任务的相对贡献，在更新共享参数时改善了多任务学习的泛化性能，并通过扩展实验验证了该方法的稳定性和优越性。

    Jun, 2023

  • 利用指数移动平均损失加权策略，减轻多任务学习中的负面转移

    本文介绍了多任务学习中的负迁移问题，提出了一种通过指数移动平均进行损失平衡的技术，以达到深度学习模型的高效训练，实现了与当前最佳方法相媲美的效果。

    Nov, 2022

  • 辅助任务下的多任务学习样本加权

    提出了一种名为 SLGrad 的样本级别加权算法，通过样本特定的任务权重，改变训练过程中的任务分布，以消除有害的辅助信号并增强有用的任务信号，从而提高神经网络的泛化性能。

    Jun, 2023

  • 多任务学习的知识蒸馏

    本文提出了一种基于知识蒸馏的多任务学习方法。通过先学习任务特定的模型，再学习多任务模型，该方法可以解决多任务学习中的不平衡问题，以实现更好的整体性能。

    Jul, 2020

  • 多任务学习的独立成分对齐

    本文提出了一种名为 Aligned-MTL 的新型多任务学习优化方法，通过条件数作为优化稳定性的标准，同时实现预定义任务权重下的优化，并在语义和实例分割、深度估计、表面法向估计和强化学习等多个基准测试中实现了优化结果的一致改进。

    May, 2023

  • 多任务学习调查

    本文综述了多任务学习的算法建模、任务聚类及半监督学习、真实世界应用等方面，并探讨其理论分析和未来方向。

    Jul, 2017

  • 跨越多任务学习和元学习：迈向高效训练和有效适应

    本论文研究了多任务学习（MTL）与基于梯度的元学习（GBML）之间的关系，通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性，并通过样例展示了 MTL 作为一阶方法可以代替计算代价高的二阶方法 ——GBML，在大规模数据集上训练时更加有效。

    Jun, 2021

  • 复杂视觉系统上的多任务学习鲁棒性分析

    多任务学习中的问题和挑战，包括优化算法的评估，梯度级别的比较，梯度角度和相对梯度范数的局限性，以及基于特征提取器的潜在空间和特征解缠的训练监测结果。

    Feb, 2024