基于自由对象分割的长尾实例分割学习

ECCVFeb, 2022

基于自由对象分割的长尾实例分割学习

Learning with Free Object Segments for Long-Tailed Instance Segmentation

Cheng Zhang, Tai-Yu Pan, Tianle Chen, Jike Zhong, Wenjin Fu...

TL;DR本研究提出一个简单和可扩展的 FreeSeg 框架，可以利用物体中心的图像提取和利用物体前景中的 “免费” 多样性来促进复杂场景中类别繁多的实例分割模型的培训，通过对同一类别的物体中心形象的相似性进行调查，提出前景实例的候选片段，然后通过对片段质量的新排序获得高质量的物体片段，从而改善了弱数据问题并取得了最佳效果。

Abstract

One fundamental challenge in building an instance segmentation model for a large number of classes in complex scenes is the lack of training examples, especially for rare objects. In this paper, we explore the po

instance segmentation training examples object-centric images long-tailed datasets segment quality

发现论文，激发创造

使用分层自监督的无监督实例分割长尾发现

该论文提出了一种可通过学习实例嵌入提供无监督发现实例分割中长尾类别的方法，利用图像中对象之间的丰富关系和层次结构提出了自监督损失方法训练掩码嵌入，经 COCO 数据集训练，该模型能够发现比 COCO 中的常见类别更精细和新奇的对象，并在 LVIS 评估中取得了与监督和部分监督方法相竞争的结果。

Apr, 2021

分类中的魔鬼：一种针对长尾物体检测和实例分割的简单框架

本文旨在研究并解决现有的目标检测和分割模型在长尾数据集上的失效问题，通过对现有的两阶段实例分割模型 Mask R-CNN 在最近的长尾 LVIS 数据集上的表现进行系统调研后，我们发现不准确的对象提案分类是其表现下降的主要原因，然后我们提出了一种用于改进长尾分类性能的简单校准框架，它可以更有效地减轻分类头偏差，并结合二级类平衡采样方法。在我们的实验中表现良好，提高了最近 LVIS 数据集和我们采样的 COCO-LT 数据集的尾部类别实例分割的准确性。

Jul, 2020

FreeSOLO: 无标注物体分割学习

本文提出了一种基于 SOLO 的自监督实例分割框架 FreeSOLO，通过实现一个新颖的定位感知预训练框架成功地实现了无监督的类不可知实例分割，其与一些使用手动标注的分割提案方法相比表现更优，而且还通过 + 9.8% 的 AP 在弱监督条件下对预训练方法进行了进一步改进。

Feb, 2022

长尾实例分割的 DropLoss

本文提出一种新的自适应损失（DropLoss），用于解决目标检测中长尾类别分布下的损失不平衡问题，以改善罕见类别的预测结果，提高模型在 LVIS 数据集上的表现。

Apr, 2021

基于语义图像分割实现的无需训练的目标实例分割

提出了一种名为训练免费实例分割（TFISeg）的新范式，通过使用现成的语义分割模型预测的图像遮罩实现实例分割结果，避免了训练语义或 / 和实例分割模型以及实例级图像注释的需求，达到高效的目的。与最先进的全监督实例分割方法相比，TFISeg 无需额外的人力资源或增加的计算成本，并能获得具有竞争力的结果。

Aug, 2023

迈向基于开放世界的零件分割

本文提出了一种利用无类别部件分割来减少标注难度并能适用于未知目标的部件分割方法，并通过对象感知性和自监督学习的方式对此进行了改进。

May, 2023

FreeSeg: 统一、通用和开放词汇库的图像分割

本文提出了一种通用框架 FreeSeg，通过一次训练优化全一体网络，并采用相同的架构和参数在推理过程中无缝处理各种分割任务。此外，自适应提示学习有助于统一的模型捕捉任务感知和类别敏感概念，在多任务和各种场景中提高模型鲁棒性。大量实验结果表明，在三个分割任务上，FreeSeg 在性能和泛化方面建立了新的最先进结果，比最好的任务特定架构高出很大的幅度：在语义分割、实例分割和 COCO 上的全景分割中，未见类别的 PQ 分别达到 5.5％，17.6％和 20.1％。

Mar, 2023

长尾实例分割的分类校准

本研究探究基于 LVIS 数据集的极长尾数据对两阶段实例分割模型性能下降的现象，并发现物体提议分类的不准确是主要原因。通过将分类头部进行预测校准并不需要额外的费用和修改检测模型架构，可以大幅提高基线模型的识别性能。

Oct, 2019

实际单图像非监督目标分割的基准测试和分析

研究旨在系统研究现有无监督模型在具有挑战性的真实世界图像上的有效性，发现现有无监督模型在真实世界图像中很难分割普通物体，因为现有模型所引入的归纳偏差难以捕捉不同目标的分布。未来的工作应该在网络设计中更充分地利用显式的目标偏差。

Dec, 2023

增量式少样本实例分割

本文提出了一种基于增量学习的 few-shot 实例分割方法 iMTFA，通过学习区分嵌入向量，以及使用 RoI 级别的余弦相似度匹配类别向量，实现了无需额外训练或访问以前的训练数据即可添加新类别，同时有效解决了存储和内存开销的问题，并在 COCO 数据集上实验表明其优于目前最先进的方法。

May, 2021