DaTaSeg: 一种通用的多数据集多任务分割模型的驯服
本文介绍了 MSeg 数据集,它统一了不同领域的语义分割数据集,消除了不一致的分类和注释方法,并在零样本交叉数据集转移方面进行了评估,并表明 MSeg 训练可以显著提高模型的鲁棒性和泛化能力。
Dec, 2021
提出了 UniSeg3D,这是一个统一的三维分割框架,可以在一个模型内完成全景、语义、实例、交互、指向性和开放词汇的语义分割任务。该方法将六个任务统一为由相同 Transformer 处理的统一表示,促进了任务间的知识共享,从而提升了对三维场景的综合理解。通过利用任务连接,通过设计知识蒸馏和对比学习方法,在多任务统一化的基础上提高了性能。在三个基准测试中的实验证明了 UniSeg3D 的优越性,即使是那些专门针对特定任务的方法也无法与之相比。希望 UniSeg3D 能够作为一个坚实的统一基准,并激发未来的研究。
Jul, 2024
本文研究了多任务数据和部分标注的情况下,联合学习物体检测和语义分割这两个最流行的视觉问题,通过知识蒸馏实现多任务优化,并通过实验结果表明了多任务学习和知识蒸馏在性能上相对于单任务学习和完全监督场景的优势。
Nov, 2023
本文提出自适应分段(Ada-Segment)方法,通过自适应地调节多个培训损失,以涵盖多个目标,并以一个端到端的架构来概括性地处理分段任务,从而实现了对各种数据集的可靠泛化,成为目前的最优解。
Dec, 2020
本研究提出了一个名为多数据集预训练的统一框架,利用来自不同数据集的注释,通过像素级原型对比损失和跨数据集混合来扩展像素级嵌入,进而显式建模关于像素类的相似度,在多个基准测试上实现了卓越的性能。
Jun, 2021
我们提出了一种联合匹配和分割图像集合中同一类别的对象实例的方法,这种方法利用了两个任务的互补性,通过从语义匹配得到的估计密集对应场来提供对象共分割的监督,并且从对象共分割得到的预测对象掩码来改善语义匹配的性能,我们的算法在五个基准数据集上表现优异。
Jun, 2019
本文提出了解决 2019 年 COCO 全景分割任务的方法,结合了实例分割和语义分割,采用多种模型和策略,获取了最佳结果 $PQ$ 47.1。
Apr, 2023
本文提出了一种通用框架 FreeSeg,通过一次训练优化全一体网络,并采用相同的架构和参数在推理过程中无缝处理各种分割任务。此外,自适应提示学习有助于统一的模型捕捉任务感知和类别敏感概念,在多任务和各种场景中提高模型鲁棒性。大量实验结果表明,在三个分割任务上,FreeSeg 在性能和泛化方面建立了新的最先进结果,比最好的任务特定架构高出很大的幅度:在语义分割、实例分割和 COCO 上的全景分割中,未见类别的 PQ 分别达到 5.5%,17.6%和 20.1%。
Mar, 2023
我们提出了一种名为 U2Seg 的无监督通用分割模型,能够使用统一框架执行多种图像分割任务:实例分割、语义分割和全景分割。该方法通过利用自监督模型生成伪语义标签,并在此基础上进行自我训练,达到了与专门设计的方法相比显著的性能提升,同时也为无监督全景分割建立了一个新的基准。此外,在少样本情况下,即只有 1% 的 COCO 标签时,U2Seg 也是强大的预训练模型,比 CutLER 在 APmask 上提升了 5.0 个点。我们希望我们简单而有效的方法能够激发更多关于无监督通用图像分割的研究。
Dec, 2023
开发了一种解耦视频分割方法(DEVA),包括任务特定的图像级分割和与类别 / 任务无关的双向时间传播模型,通过在线融合来生成一致的分割,在大词汇视频分割、开放世界视频分割、参考视频分割和无监督视频目标分割等多个数据稀缺任务中与端到端方法相比具有优势。
Sep, 2023