Mar, 2024

区域感知分布对比：一种新的多任务部分监督学习方法

PDF
TL;DR多任务密集预测的研究中，我们通过引入 Segment Anything Model (SAM) 和基于高斯分布的区域表示，解决了部分标注数据、局部对齐和跨任务关系等挑战，提高了在部分监督多任务密集预测场景中的性能。
multi-task dense predictionpartially annotated datacross-task relationshipssegment anything model (sam)region-wise representations
发现论文，激发创造
  • GoodSAM: 透过分段模型建立领域和能力差距，实现适应扭曲感知的全景语义分割

    本文提出了一种名为 GoodSAM 的新型框架，通过引入教师助理 (TA) 并融合 SAM 的集成 logits 来解决从 Segment Anything Model (SAM) 到学生模型的知识转移问题，同时提出了 Distortion-Aware Rectification (DAR) 模块和 Multi-level Knowledge Adaptation (MKA) 模块来处理全景图像的畸变问题并进行多级特征知识的有效传递，实验证明 GoodSAM 在两个基准测试上取得了较先进方法 + 3.75% 的平均交并比 (mIoU) 提升，并且我们最轻量级的模型仅有 3.7M 个参数却达到了与先进方法相媲美的性能。

    Mar, 2024

  • 从部分注释的数据中学习多个密集预测任务

    本研究提出了一种标签高效的方法，针对部分注释的数据（即每个图像不都有所有任务标签），在多个密集预测任务上联合学习，通过保留输入图像的高级信息，并成功利用任务关系对多任务学习进行监督学习的多任务训练程序。我们严格证明了我们的方法可以有效地利用具有未标记任务的图像，并且在三个标准基准测试中优于现有的半监督学习方法和相关方法。

    Nov, 2021

  • 密集型多任务学习的跨任务注意机制

    该研究介绍了一种多任务学习架构，通过相关性引导的注意力和自我关注增强平均表示学习，以通过 2D 语义分割和几何相关的任务来综合理解复杂场景，并在室内和室外数据集上展示了其好处。

    Jun, 2022

  • 通过弱监督适应提高分割基础模型在分布变化下的泛化能力

    基于自训练的策略，通过锚点规范化和低秩微调，提升了图像分割基础模型的适应性和计算效率，并在多个下游分割任务中表现出优于预训练模型 SAM 和最先进的领域自适应方法的性能。

    Dec, 2023

  • Segment Anything Model 是学习局部特征的好教师

    SAMFeat 通过引入 SAM（segment anything model）作为教师模型，利用像素级对齐关系和语义信息，改进本地特征描述和检测的性能，展现了在不同任务中的优越性能。

    Sep, 2023

  • 对比多任务密集预测

    本文提出了一种基于特征对比一致性的多任务对比正则化方法，以解决多任务密集预测的跨任务交互建模问题，并在两个数据集上进行了大量实验，展示了该方法在密集预测方面的优越表现，创立了新的最先进性能。

    Jul, 2023

  • 利用知识蒸馏在多个遥感数据集上进行部分多任务学习

    本文旨在提出一种基于知识蒸馏的部分多任务学习方法，以克服在缺乏所有任务标注的情况下进行全面多任务学习的次优性，并通过在航空图像中进行的对象检测和语义分割等语义任务的实验验证了该方法的有效性。

    May, 2024

  • 任务感知的段落适应性低秩模型

    本文介绍了一种新的方法 TA-LoRA，将 Segment Anything Model (SAM) 用作多任务学习的基础模型，在多个下游任务中显著提高了 mSAM 的性能。

    Mar, 2024

  • 基于大视觉模型的自引导远感图像少样本语义分割

    本研究介绍了一种用于自动化少样本语义分割的结构化框架，利用 Segment Anything Model（SAM）模型，并借助先前引导的掩模生成粗略像素级提示，以获得更高效的语义可辨别分割结果，实验证明该方法在 DLRSD 数据集上优于其他可用的少样本方法。

    Nov, 2023

  • 异质多任务学习的分布匹配：一项大规模人脸研究

    本文提出了一种基于分布匹配的方法，将多个任务进行弱监督的共同训练，建立了第一个全面学习面部行为的框架 FaceBehaviorNet，并利用该框架进行了零 / 少样本学习，实现了好于现有方法的效果。

    May, 2021