OMG-Seg：一个模型足够好吗？适用于所有分割任务？

Jan, 2024

OMG-Seg：一个模型足够好吗？适用于所有分割任务？

OMG-Seg: Is One Model Good Enough For All Segmentation?

Xiangtai Li, Haobo Yuan, Wei Li, Henghui Ding, Size Wu...

TL;DR本论文提出了一种名为 OMG-Seg 的基于 Transformer 的编码器 - 解码器架构，通过特定任务的查询和输出，能够支持十多个不同的分割任务，并且在各种任务和数据集中显著减少计算和参数开销，同时评估了任务之间的互动影响和关联

Abstract

In this work, we address various segmentation tasks, each traditionally tackled by distinct or partially unified models. We propose omg-seg, One Model that is Good enough to efficiently and effectively handle all

segmentation tasks omg-seg transformer-based encoder-decoder architecture inter-task influences co-training

发现论文，激发创造

快速分割任何物体

本论文针对计算机视觉中处理高分辨率输入带来的高昂计算代价提出了使用基于 CNN 检测器结合实例分割进行图像分割的替代方案，实验结果表明该方法仅使用 SAM 作者发布的 1/50 数据集，便可在 50 倍的运行时速下实现与 SAM 方法基本相当的性能。

Jun, 2023

OneFormer3D：统一点云分割的一种 Transformer

本文提出了一种统一、简单、有效的模型 OneFormer3D，利用可学习的卷积核同时处理实例分割和语义分割，通过输入统一的实例和语义查询来训练，并在 ScanNet 测试排行榜中取得了第一名和新的最佳性能，同时在 ScanNet、ScanNet200 和 S3DIS 数据集上展示了最领先的语义、实例和全景分割结果。

Nov, 2023

FreeSeg: 统一、通用和开放词汇库的图像分割

本文提出了一种通用框架 FreeSeg，通过一次训练优化全一体网络，并采用相同的架构和参数在推理过程中无缝处理各种分割任务。此外，自适应提示学习有助于统一的模型捕捉任务感知和类别敏感概念，在多任务和各种场景中提高模型鲁棒性。大量实验结果表明，在三个分割任务上，FreeSeg 在性能和泛化方面建立了新的最先进结果，比最好的任务特定架构高出很大的幅度：在语义分割、实例分割和 COCO 上的全景分割中，未见类别的 PQ 分别达到 5.5％，17.6％和 20.1％。

Mar, 2023

DaTaSeg: 一种通用的多数据集多任务分割模型的驯服

提出了一种称为 DaTaSeg 的通用多数据集多任务分割模型，通过使用共享表示，并采用不同的合并操作和后处理，利用弱监督和共享知识的方法，在 ADE 语义、COCO 全景和 Objects365 检测数据集上进行了训练，并能够实现直接转移的开放词汇分割。

Jun, 2023

一个统一的三维场景理解框架

提出了 UniSeg3D，这是一个统一的三维分割框架，可以在一个模型内完成全景、语义、实例、交互、指向性和开放词汇的语义分割任务。该方法将六个任务统一为由相同 Transformer 处理的统一表示，促进了任务间的知识共享，从而提升了对三维场景的综合理解。通过利用任务连接，通过设计知识蒸馏和对比学习方法，在多任务统一化的基础上提高了性能。在三个基准测试中的实验证明了 UniSeg3D 的优越性，即使是那些专门针对特定任务的方法也无法与之相比。希望 UniSeg3D 能够作为一个坚实的统一基准，并激发未来的研究。

Jul, 2024

UniSeg：一个基于提示的通用分割模型和强表示学习器

本研究提出了一种基于可学习的通用提示的通用分割模型（UniSeg），用于多任务医学图像分割，融合多个模态和域，通过动态卷积层提取感兴趣的目标，从而实现了模型在早期意识到正在进行的任务，并提高了整个解码器的任务特定训练。在 11 个上游任务和 2 个下游任务中， UniSeg 相对于其他预训练模型和单任务模型表现更优秀。

Apr, 2023

RAP-SAM：面向实时通用分割任何事物

通过转换器架构，本研究提出了一种新的实时分割方案，名为全能实时分割，旨在使用一个模型实现交互分割、全景分割和视频分割等不同任务，为视觉基础模型的实时应用提供了强有力的基准和优化方法。

Jan, 2024

Segment Any Object Model (SAOM): 多类多实例分割的实际到模拟微调策略

多类多实例分割是识别图像中多个对象类别和同一类别的多个实例的任务，提出了一种新颖的领域不变的通过真实 - 模拟 (Pseudo-Real) 微调策略来改善多类多实例分割模型的性能，尤其在室内场景理解方面表现出良好的泛化性能。

Mar, 2024

CLUSTSEG: 通用分割的聚类

CLUSTSEG 是一个基于 transformer 的通用框架，通过统一的神经聚类方案解决不同的图像分割任务，并通过两个创新方面实现。像 EM 聚类一样，这些创新使 CLUSTSEG 成为一个透明而强大的框架，在上述分割任务中产生优越的结果。

May, 2023

OmniSeg3D: 基于层次对比学习的全方位 3D 分割

提出了一种全方位理解 3D 场景的通用 3D 分割方法 OmniSeg3D，通过层次对比学习框架将多视图不一致的 2D 分割提升为一致的 3D 特征场，实现了分层分割、多对象选择和全局离散化，并通过大量实验验证了该方法在高质量 3D 分割和准确定义了层次结构方面的有效性，进一步利用图形用户界面实现了灵活的全方位 3D 分割的交互操作。

Nov, 2023