CVPRMar, 2022

实时实例分割的稀疏实例激活

PDF
TL;DR本文提出了一种实时实例分割的概念性新颖、高效并且完全卷积的框架。该框架采用了一种新的目标表示方法 —— 稀疏的实例激活图，通过聚合特征识别和分割前景对象，在一对一的模式下预测物体，避免后处理中的非极大值抑制。该方法在 COCO 基准测试中实现了 40 FPS 和 37.9 AP，速度和准确性均得到显著提高。
real-time instance segmentationconvolutional frameworkinstance activation mapsbipartite matchingfast inference speed
发现论文，激发创造
  • FastInst：一种简单的基于查询的实时实例分割模型

    本文研究实例分割中的基于查询的模型，并介绍了一种名为 FastInst 的简单且有效的查询框架，它可以在超过 40AP 的同时以实时速度执行（即 32.5 FPS）

    Mar, 2023

  • SBNet: 用于快速推断的稀疏块网络

    本文介绍了一种新型的基于拼贴的稀疏卷积算法，通过利用计算掩码的稀疏结构，降低了 CNN 中高分辨率计算的复杂度，并应用于基于 LiDAR 的 3D 目标检测中，最终获得了显著的速度提升而无需牺牲准确率。

    Jan, 2018

  • 实例级显著目标分割

    本篇论文介绍了如何通过使用深度卷积神经网络，建立图像中的显著性实例分割方法，通过一个多尺度显著实例分割网络生成高质量的显著性分割结果，并在公共基准测试中取得了最优的结果。

    Apr, 2017

  • YOLACT：实时实例分割

    本研究提出了一种利用生成一组原型掩码和预测每个实例掩码系数的并行子任务的方法，进而实现在一台 Titan Xp 上每秒 33.5 帧且仅在一台 GPU 上进行训练即可在 MS COCO 上达到 29.8 mAP 的实时实例分割的全卷积模型，并且进一步通过分析原型的紧急行为和提出一个只有 12 ms 更快的可替换的 Fast NMS 来优化模型。

    Apr, 2019

  • 动态实例化网络的像素级实例分割

    该论文提出了一种基于语义分割的实例分割系统，利用 CRF 预测具有对象类和实例标签的分割地图，从而提高难度较大的像素级别分割精度，使像素不能属于多个实例，并在 Pascal VOC 和 Cityscapes 数据集上取得最新颖的结果。

    Apr, 2017

  • SOLOv2: 动态和快速的实例分割

    本文提出一种简单、直接、快速的实例分割框架，其主要创新点是动态地学习对象分割器的掩码头（mask head），并引入了 Matrix NMS 来显著减少 NMS 导致的推理时间开销。该方法在速度和准确率上优于当前最先进的方法，在对象检测和全景分割等任务中也表现出良好的性能。

    Mar, 2020

  • 通过联合优化空间嵌入和聚类带宽实现实例分割

    本文提出新的聚类损失函数，结合快速的架构，在保持高准确性的同时，能够在实时应用场景中进行实例分割，取得了 Cityscapes 基准测试的最佳结果，并在 2MP 图像上以 10 fps 以上的速度进行了测试。

    Jun, 2019

  • 利用像素嵌入实现稀疏物体级监督的实例分割

    本文提出了一种基于非空间嵌入的无提案分割方法，可处理生物医学图像等难以密集标注的图像，并引入了一种自我监督一致性损失，以解决正 - 无标签训练中的挑战。在不同显微镜模式下的二维和三维分割问题以及城市景观和 CVPPP 实例分割基准上，实现了最先进的结果。

    Mar, 2021

  • SOLO：一个简单的实例分割框架

    介绍一种新的角度来处理实例分割任务：引入 “实例类别” 的概念，其根据实例的位置给每个像素分配类别，从而提出了 Segmenting Objects by Locations（SOLO）。我们的方法消除了后处理分组或边界框检测的需求，并以在速度和准确性方面都取得了最新成果，同时比现有方法相对简单。

    Jun, 2021

  • YOLACT++：更好的实时实例分割

    提出了一种实时实例分割的全卷积模型，通过生成原型掩模和预测实例掩模系数两个并行子任务，使用线性组合的方法得到实例掩模。通过使用改进的锚点尺度和纵横比进行优化，同时引入新的快速掩模回归分支以及快速 NMS 算法，使得该模型在实时情况下能够接近于最先进的方法。

    Dec, 2019