Aug, 2019

利用异构无监督任务的度量正则化和时间集成进行多任务学习

HTML
PDF
TL;DR通过使用转移学习、无监督自学习、无监督多任务学习、基于度量的正则化项和时间任务集合（TTE）等技术来学习泛化特征表示，避免了整个网络倾向于特定任务的状态，并在分类、目标检测和嵌入聚类等任务中表现出比现有方法更有效的性能提升。
发现论文，激发创造
  • 多任务学习中学习任务关系的凸形式

    提出了一种正则化公式，用于在多任务学习中学习任务之间的关系，可以对正相关、负相关和异常任务进行建模，在对称和非对称多任务学习设置下，使用交替优化算法， 对模型参数和任务之间的关系进行优化。实验结果表明这种方法的有效性。

    Mar, 2012

  • 跨多个领域进行异构多任务度量学习

    提出一种新的异构多任务度量学习框架（HMTML），利用多个不同子领域数据学习跨域度量，并在共同子空间中最大化预测结构的高阶协方差，进而有效地探索高阶信息，验证实验表明其方法具有更可靠的特征转换和度量。

    Apr, 2019

  • 使用正交梯度对深度多任务网络进行规范化

    本文提出了一种新的梯度正则化方法，旨在通过强制近似正交梯度来减少任务干扰，评估结果表明该方法在多任务学习中取得了竞争性结果。

    Dec, 2019

  • MTI-Net: 多尺度任务交互网络用于多任务学习

    本文介绍了一种新架构MTI-Net，它能够显式地模拟每个尺度的任务交互，并通过特征传播模块将提炼的任务信息从较低尺度传播到较高尺度，并通过特征聚合单元汇总所有尺度的任务特征以产生最终的任务预测。该架构通过两个多任务密集标记数据集上的广泛实验证明，相比以前的工作，我们的多任务模型实现了多任务学习的全部潜力，即较小的内存占用，减少计算次数，并与单任务学习相比表现更好。

    Jan, 2020

  • 多任务学习中高效识别任务分组

    本文提出了一种方法来选择哪些任务应该在多任务学习模型中共同训练，该方法通过训练所有任务并量化一个任务的梯度对其他任务损失的影响来确定任务分组，实验结果表明相较于在一起训练所有任务，该方法可以在11.6倍的速度下将测试损失降低10％。

    Sep, 2021

  • 具有先验信息的多任务学习

    本文提出了一个利用任务间关系先验知识、通过对共享特征赋予类似系数惩罚、以及通过组稀疏方法捕获公共特征的多任务学习框架，将其定义为一个非光滑凸优化问题，在真实世界数据集的回归和分类任务上实验证明该算法可以提高多个相关任务的泛化性能。

    Jan, 2023

  • 异质属性空间的半监督学习任务元学习

    我们提出了一种元学习方法，用于半监督学习，该方法通过学习具有异构属性空间的多个任务来提高带有少量标记数据的任务的预期测试性能，并使用未标记数据以及不同任务的数据，其中任务之间的属性空间是不同的。

    Nov, 2023

  • 部分标记多任务学习的联合任务正则化

    多任务学习中，我们提出了一种名为JTR的技术，通过利用任务之间的关联性，在单个联合任务的潜在空间中同时调整所有任务的参数，以提升在数据不完全标记的情况下的学习效果。我们在基于NYU-v2、Cityscapes和Taskonomy的各种部分标记场景中对我们的方法进行了广泛的基准测试来验证其有效性。

    Apr, 2024

  • 基于鲁棒正则聚类和非凸群体惩罚的多任务学习

    多任务学习通过鲁棒正则化聚类（MTLRRC）方法，同时进行鲁棒任务聚类和异常任务检测，提高估计和预测性能。

    Apr, 2024

  • 通过自我监督辅助学习实现多任务学习的表示学习

    本研究针对多任务学习中共享编码器生成表示质量不足的问题，提出了一种新方法——虚拟梯度范数正则化（DGR）。该方法通过减少虚拟任务特定预测器损失函数的梯度范数，提升共享编码器表示的通用性。实验表明，DGR显著改善了多任务预测性能，并在计算效率上也表现出优势。

    Sep, 2024