Dec, 2023

MaskConver: 重访用于全景分割的纯卷积模型

PDF
TL;DR该研究论文提出了一种名为 MaskConver 的新型全景分割架构，通过预测物体和背景的中心来实现事物和物质的完全统一表示。通过引入 ConvNeXt-UNet 解码器，该模型在 COOC 全景验证集上相比基于卷积和 transformer 的模型以及现代基于卷积的模型和 transformer-based models 取得了更好的性能，此外，优化后的 MaskConver 在移动设备上实时运行，并在相同 FLOPs / 延迟限制下提高了 6.4% 的 PQ 值。
transformer-based modelspanoptic segmentationmaskconverconvnext-unet decoderpanoptic val set
发现论文，激发创造
  • MaX-DeepLab: 带有 Mask Transformer 的端到端全景分割

    紧集分割的最新技术 MaX-DeepLab 使用全新的端对端方法，通过双向 CNN 信道和双倍展开使大规模各类实例的分割更准确。

    Dec, 2020

  • 用于全景分割的完全卷积网络

    本文介绍了一种名为 Panoptic FCN 的概念简单、强大、高效的全景分割框架，该方法旨在以统一的卷积管道中表示和预测前景物体和背景杂物。通过提出的内核生成器，Panoptic FCN 将每个对象实例或杂物类别编码为特定的内核权重，并通过将高分辨率特征直接卷积来生成预测。通过这种方法，实例感知和语义一致的特性可以分别在一个简单的生成内核，然后进行分割的工作流中得以满足。在 COCO、Cityscapes 和 Mapillary Vistas 数据集上，不需要额外的定位框或实例分离，所提议的方法在单尺度输入上具有比以前的基于框和无框模型更高的效率。

    Dec, 2020

  • ReMaX: 针对高效全景分割的放松优化训练

    本文提出一种 ReMaX 的新机制，通过在学习时添加对分割蒙版和类别蒙版的松弛约束，可以实现更高效的全景分割，使其更易于部署，同时可以与 MobileNetV3-Small 等高效 backbones 结合使用，从而在 COCO、ADE20K 和 Cityscapes 等数据集上取得最新的最新的最好成果。

    Jun, 2023

  • 掩模关注掩模变换器用于通用图像分割

    提供一种新的架构 Mask2Former，该架构通过应用掩蔽注意力机制提取局部特征来解决多种类型的图像分割任务，包括全景分割、实体分割和语义分割，并且优于当前最佳的专门任务架构。

    Dec, 2021

  • 全景分割的训练和推理统一化

    我们提出了一种端到端的网络，用于连接全景分割的训练和推理管道，通过使用密集实例亲和力来捕获像素对属于相同实例的概率，并与 ResNet-50 骨干网络配合使用，实现了对 Cityscapes 和 COCO 数据集的新记录。

    Jan, 2020

  • Panoptic SegFormer: 使用 Transformer 深入探究全景分割

    Panoptic SegFormer 是一种基于 transformers 且具有高效深度监控遮罩解码器、解除查询集耦合策略及改进后处理方法等三个创新性组件的全面框架，是目前在 COCO test-dev 上实现 56.2％PQ 准确率且具备更强的零 - shot 鲁棒性的最先进的 Panoptic 分割方法之一。

    Sep, 2021

  • ConTNet：为什么不同时使用卷积和 Transformer？

    本论文提出基于 Transformer 和 ConvNet 结构的 ConTNet 模型，相较于传统的 ConvNet 模型，可以更好地捕捉全局信息，从而部署在图像分类和物体检测等任务中，具有明显的优异性。

    Apr, 2021

  • 全景特征金字塔网络

    本文介绍了一种用于 Panoptic 分割任务的新方法，即在 Mask R-CNN 模型中使用共享的 Feature Pyramid Network 实现对实体和语义分割任务的联合建模，该方法既能保持实体分割的高效性，而且还能实现语义分割的最佳性能。

    Jan, 2019

  • 2020 年代用于 ConvNet（卷积神经网络）的神经网络

    本研究重新审视设计空间，逐步将标准 ResNet 现代化为 Vision Transformer 的设计，发现了几个关键组件，并发现纯 ConvetNets 模型家族 ConvNeXt 可以在精度和可伸缩性方面与 Transformer 竞争，在 ImageNet 的 top-1 准确率方面达到了 87.8％，并在 COCO 检测和 ADE20K 分割上优于 Swin Transformer 。

    Jan, 2022

  • 基于点级监督的全卷积网络用于全景分割

    本文介绍了一种名为 Panoptic FCN 的全监督和弱监督全景分割方法，使用点注释，可以在高效率下实现对物体实例和场景杂物类别的分割。通过使用所提出的内核生成器对每个物体实例或场景杂物类别进行编码，直接卷积高分辨率特征进行预测，实现了物体实例感知和语义一致属性的分割，且不需要额外的盒子用于定位或实例分离。经过广泛的实验，Panoptic FCN 在 COCO，VOC 2012，Cityscapes 和 Mapillary Vistas 数据集上均表现出了吸引人的效率和效果，是全监督和弱监督全景分割的一种新方法。

    Aug, 2021