Jun, 2022

密集型多任务学习的跨任务注意机制

PDF
TL;DR该研究介绍了一种多任务学习架构，通过相关性引导的注意力和自我关注增强平均表示学习，以通过 2D 语义分割和几何相关的任务来综合理解复杂场景，并在室内和室外数据集上展示了其好处。
multi-task learning2d semantic segmentationgeometry-related taskscorrelation-guided attentionself-attention
发现论文，激发创造
  • 利用任务适应性注意力生成器的实时自主驾驶多任务学习

    本文介绍了一种新的实时多任务网络，包括单目三维物体检测、语义分割和密集深度估计，通过引入任务自适应注意力生成器来解决多任务学习中普遍存在的负迁移问题，并利用硬参数共享方法提高效率，能够同时处理多个任务，尤其是三维物体检测，并保持实时处理速度。经过在 Cityscapes-3D 数据集上的严格优化和深入剖析研究，我们的网络始终优于各种基准模型。

    Mar, 2024

  • 基于 3D 感知正则化的多任务学习

    通过引入结构化 3D-aware 正则化方法，将深度神经网络与多任务背景相结合，可以改善性能。

    Oct, 2023

  • 对比多任务密集预测

    本文提出了一种基于特征对比一致性的多任务对比正则化方法，以解决多任务密集预测的跨任务交互建模问题，并在两个数据集上进行了大量实验，展示了该方法在密集预测方面的优越表现，创立了新的最先进性能。

    Jul, 2023

  • 基于多任务关注机制的半监督学习在医疗图像分割中的应用

    该研究提出了一种新颖的半监督图像分割方法，该方法同时优化了监督分割和无监督重建目标，并使用了注意机制。使用未标记的和少量标记的图像进行训练，该方法在大脑肿瘤和白质高信号分割等应用中表现优异。多次尝试后，发现交替训练比联合训练成本更低且性能更好，同时，该注意力机制有助于更好地识别深层次图像特征。

    Jul, 2019

  • 区域感知分布对比：一种新的多任务部分监督学习方法

    多任务密集预测的研究中，我们通过引入 Segment Anything Model (SAM) 和基于高斯分布的区域表示，解决了部分标注数据、局部对齐和跨任务关系等挑战，提高了在部分监督多任务密集预测场景中的性能。

    Mar, 2024

  • 跨任务注意力网络：改进医学图像应用中的多任务学习

    本研究提出了一种新颖的基于注意力的多任务学习框架，通过跨任务的交互作用更好地利用了医学影像任务中的跨任务相互作用，从细粒度级别到图像级别的预测，有效提高了医学影像任务的准确性。

    Sep, 2023

  • 多任务的专注单任务处理

    通过单任务多任务方法，使用任务依赖的特征适应或任务关注来减少神经网络中的任务干扰，并通过敌对训练使任务梯度具有相同的统计学特性，从而消除任务特定梯度对神经网络的影响，实现了在多任务场景下参数规模和性能的平衡。

    Apr, 2019

  • 端到端注意力多任务学习

    本文提出了一种新的多任务学习架构，其中包含了任务特定的特征级别的注意力学习，称之为 Multi-Task Attention Network (MTAN)，它可以在任何前馈神经网络的基础上进行端到端训练，本文在图像分类任务和图像到图像预测上进行了验证，发现相对于现有方法，该架构达到了最先进的水平，而且对多任务损失函数的各种加权方案也不敏感。

    Mar, 2018

  • LILE: 使用 Transformer 的双重注意力网络进行组织病理学资料检索前深入查看

    提出了一种使用自注意力作为额外损失项的新架构，以在联合潜在空间中表示图像和文本；在 MS-COCO 和 ARCH 两个基准数据集上进行的实验结果表明，该方法具有很好的效果。

    Mar, 2022

  • 交叉连接网络用于检测和分割的多任务学习

    提出一种新的多任务学习架构，即跨连接卷积神经网络，它通过卷积层连接单任务 CNN，在不同的数据集上实现检测和分割，并在行人和野生鸟类数据集上进行实验，表明该方法可以学习通用表征并显著提高检测性能。

    May, 2018