Dec, 2021

Mask2Former 用于视频实例分割

PDF
TL;DR通过直接预测 3D 分割体积，我们展示了通用的图像分割架构轻松推广到视频分割领域，Mask2Former 在视频实例分割方面也取得了最先进的性能，同时在 YouTubeVIS-2019 和 YouTubeVIS-2021 上分别达到了 60.4 AP 和 52.6 AP。由于在图像分割方面的多才多艺，我们相信 Mask2Former 也能处理视频语义和全景分割，我们希望这将使最新的视频分割研究更易于使用并引起更多人对通用图像和视频分割架构的关注。
发现论文，激发创造
  • TubeFormer-DeepLab: 视频蒙版转换器

    提出了 TubeFormer-DeepLab 模型，它是第一次以统一的方式处理多种核心视频分割任务。通过直接预测标注不同值的视频管道，该模型不仅显着简化了视频分割模型，而且在多个视频分割基准测试中取得了最先进的结果。

    May, 2022

  • 掩模关注掩模变换器用于通用图像分割

    提供一种新的架构 Mask2Former，该架构通过应用掩蔽注意力机制提取局部特征来解决多种类型的图像分割任务，包括全景分割、实体分割和语义分割，并且优于当前最佳的专门任务架构。

    Dec, 2021

  • SeqFormer: 序列 Transformer 用于视频实例分割

    本文介绍了 SeqFormer，一种基于视频实例分割的模型，通过注意力机制捕捉视频帧之间的关系，定位每帧的实例并聚合时间信息，从而实现自然的实例跟踪并预测动态遮罩序列，结合 Swin Transformer 可获得更高的 AP，是视频实例分割领域的强基线模型。

    Dec, 2021

  • MP-Former：基于遮罩引导的 Transformer 图像分割算法

    本文介绍了一种基于掩模驱动 Transformer 的方法，通过使用噪声原始掩模进行训练和获取更一致的优化目标来提高 Mask2Former 的掩模注意力在图像分割中的表现，实验结果表明，该方法可显著提升实例分割、全景分割和语义分割的精度，并且训练速度更快，不会在推断阶段引入额外的计算。

    Mar, 2023

  • 视频实例分割

    本论文提出了一个新的计算机视觉任务，名为视频实例分割，目标是同时检测、分割和跟踪视频帧中的实例。为了便于研究，提出了一个大规模基准数据集 YouTube-VIS 和一个新算法 MaskTrack R-CNN。实验表明，这个算法优于强基线，并为未来研究提供了启示。

    May, 2019

  • OneFormer3D：统一点云分割的一种 Transformer

    本文提出了一种统一、简单、有效的模型 OneFormer3D，利用可学习的卷积核同时处理实例分割和语义分割，通过输入统一的实例和语义查询来训练，并在 ScanNet 测试排行榜中取得了第一名和新的最佳性能，同时在 ScanNet、ScanNet200 和 S3DIS 数据集上展示了最领先的语义、实例和全景分割结果。

    Nov, 2023

  • 像素级分类不是语义分割所需的全部

    提出了基于掩膜分类模型的方法 MaskFormer，通过预测一组二进制掩膜，使语义分割和全景分割任务的解决变得统一，并在各项指标上实现了优秀的实验结果。

    Jul, 2021

  • VideoCutLER：惊人简单的无监督视频实例分割

    使用高质量伪蒙版和简单的视频合成方法进行模型训练，能够在视频中有效地分割和追踪多个实例，实现了具有竞争力的无监督学习结果。

    Aug, 2023

  • MaskRNN：实例级视频对象分割

    本文提出了一种名为 MaskRNN 的递归神经网络方法，它在每帧中利用两个深度成像网络输出（二元分割网络和定位网络）进行目标实例的视频对象分割以获取长时序结构和剔除异常值，结果在 DAVIS-2016、DAVIS-2017 和 Segtrack v2 数据集中均达到了最优表现。

    Mar, 2018

  • PVUW Challenge 2023 比赛中的第三名解决方案：视频全景分割

    为应对在野外进行视频全景分割任务，我们提出了一种强大的综合视频全景分割解决方案，通过将视频全景分割任务视为分割目标查询任务，利用神经网络提取的视频特征来预测分割掩码，同时添加了视频语义分割和视频实例分割等额外任务进行联合训练，提高了解决方案的学习准确性和收敛速度，最终在 VIPSeg 数据集上获得了第三名的好成绩。

    Jun, 2023