ECCVJan, 2020

PatchPerPix 的实例分割

PDF
TL;DR本研究提出了一种新颖的无需提案的实例分割方法，其可处理跨越图像大部分并形成密集对象集群的复杂对象形状。该方法基于预测密集局部形状描述符，将其组装成实例。我们的方法是首个生成由学习的形状补丁组成的实例的非迭代方法，并在多个数据领域上进行了评估，其中定义了四个基准，分别是 ISBI 2012 EM 分割基准，BBBC010 C.elegans 数据集，以及二维和三维荧光显微镜图像的细胞核。此外，我们还展示了我们的方法也适用于展示了复杂形状集群极端案例的果蝇神经元的三维光学显微镜数据。
instance segmentationdense object clusterslearned shape patchesbenchmarkmicroscopy data
发现论文，激发创造
  • 利用像素嵌入实现稀疏物体级监督的实例分割

    本文提出了一种基于非空间嵌入的无提案分割方法，可处理生物医学图像等难以密集标注的图像，并引入了一种自我监督一致性损失，以解决正 - 无标签训练中的挑战。在不同显微镜模式下的二维和三维分割问题以及城市景观和 CVPPP 实例分割基准上，实现了最先进的结果。

    Mar, 2021

  • 动态实例化网络的像素级实例分割

    该论文提出了一种基于语义分割的实例分割系统，利用 CRF 预测具有对象类和实例标签的分割地图，从而提高难度较大的像素级别分割精度，使像素不能属于多个实例，并在 Pascal VOC 和 Cityscapes 数据集上取得最新颖的结果。

    Apr, 2017

  • SKU-Patch：面向 Auto-Store 中未见物体的高效实例分割

    在大规模仓库中，对于机器人的货箱拾取来说，精确的实例掩模至关重要，但往往很难获得。本文提出了一种新的基于补丁引导的实例分割解决方案 SKU-Patch，利用每个新的 SKU 仅需少量图像补丁来预测准确和稳健的掩模，避免了繁琐的手动操作和模型重训练。技术上，我们设计了一种新颖的基于 Transformer 的网络，具备（i）用于捕捉由补丁信息校准的多层次图像特征的图像补丁 - 图像相关编码器和（ii）带有并行任务头的补丁感知 Transformer 解码器，用于生成实例掩模。在四个仓库基准测试上进行的大量实验证明 SKU-Patch 能够在性能上超过现有最先进的方法。此外，SKU-Patch 在机器人辅助的自动货运管道中对 50 多个未见过的 SKU 的平均抓取成功率接近 100％，显示出其有效性和实用性。

    Nov, 2023

  • 学习聚类用于无需提议的实例分割

    本研究介绍了一种新的学习目标，用于训练深度神经网络执行端对端的图像像素聚类，该方法已应用于实例分割，其结果是出色的，并且在 2017 CVPR 自动驾驶挑战的车道检测竞赛中获得第二名，而在不使用外部数据的情况下是最优表现者。

    Mar, 2018

  • 像素共识投票用于全景分割

    本研究提出了基于像素共识投票的实例分割框架，使用广义霍夫变换实现像素投票，利用卷积神经网络实现投票聚合和反向投影，将实例检测改为像素级别的投票共识，实现有效率和统一建模的实例和语义分割的网络结构，最终在 COCO 和 Cityscapes Panoptic Segmentation 数据集上取得优异成果，并将开源代码。

    Apr, 2020

  • 通过联合优化空间嵌入和聚类带宽实现实例分割

    本文提出新的聚类损失函数，结合快速的架构，在保持高准确性的同时，能够在实时应用场景中进行实例分割，取得了 Cityscapes 基准测试的最佳结果，并在 2MP 图像上以 10 fps 以上的速度进行了测试。

    Jun, 2019

  • 基于形状生成器和分类器的实例感知三维语义分割

    本文提出了一种新颖的面向实例的方法，用于 3D 语义分割，通过结合几个在实例级别监督的几何处理任务来促进学习到的特征表示的一致性，具体方法使用形状生成器和形状分类器来执行每个形状实例的形状重建和分类任务，从而使特征表示能够忠实地编码结构和局部形状信息，并意识到形状实例。在实验中，我们的方法在多个公共基准数据集（如 Waymo Open Dataset、SemanticKITTI 和 ScanNetV2）上明显优于现有的 3D 语义分割方法。

    Nov, 2023

  • 基于提议的实例级目标分割的网络

    本文提出了一个 Proposal-Free Network (PFN)，通过基于像素到像素的深度卷积神经网络实现不需要候选区域的实例级对象分割，并结合聚类方法，取得了显著的实例级对象分割表现，与最先进的算法相比在 PASCAL VOC 2012 上的 $AP^r$ over 20 类在 0.5 交并比下从 43.8％增加到 58.7％。

    Sep, 2015

  • 使用标注转换进行无目标检测的实例分割

    本文探讨了实例分割中的特殊问题 —— 商空间，提出了三种新方法来解决此问题，包括像素亲和映射、超像素亲和学习和基于边界的分量分割，使用完全卷积神经网络模型，达到了竞争性的结果，并且具有透明度和简单性的优点。

    Nov, 2016

  • 使用谐嵌入进行生物图像的实例分割

    该论文提出了一种适用于生物学图像的新型实例分割方法，利用正弦波来描述每个对象实例，并利用聚类在嵌入空间中恢复实例，该方法在多个生物学数据集上表现出色且计算效率高。

    Apr, 2019