MWSIS: 基于 2D 边框标注的多模态弱监督实例分割在自动驾驶中的应用

Dec, 2023

MWSIS: 基于 2D 边框标注的多模态弱监督实例分割在自动驾驶中的应用

MWSIS: Multimodal Weakly Supervised Instance Segmentation with 2D Box Annotations for Autonomous Driving

Guangfeng Jiang, Jun Liu, Yuzhi Wu, Wenlong Liao, Tao He...

TL;DR通过应用弱监督方法和多模态跨模态监督，同时利用 2D 和 3D 注释来提高伪标签的质量，该研究提出了一种名为 MWSIS 的新型框架，可在自动驾驶等领域中进行实例分割，从而显著提高性能并降低注释成本。

Abstract

instance segmentation is a fundamental research in computer vision, especially in autonomous driving. However, manual mask annotation for instance segmentation is quite time-consuming and costly. To address this

instance segmentation weakly supervised 2d box annotations multimodal autonomous driving

发现论文，激发创造

LWSIS: 基于 LiDAR 指导的自动驾驶弱监督实例分割

本文提出了一个基于 LiDAR 导引的弱监督实例分割框架，利用点云和三维框作为自然的弱监督信息代替 2D 遮罩标注，有效利用不同模态数据进行训练，并大幅度减少了 2D 遮罩的注释成本。该框架包含两个关键模块：点标签分配（PLA）和基于图形的一致性正规化（GCR），并在 nuScenes 和 Waymo 上进行了广泛实验。

Dec, 2022

从语义到实例分割：通过语义知识转移和自我优化进行弱监督实例分割

本文提出一种创新的方法来解决弱监督实例分割任务中的实例定位难题，并使用自我训练方案来改进伪标注，消除语义漂移问题。通过在 PASCAL VOC 2012 和 MS COCO 上广泛实验，证明了该方法的有效性，无需使用与实例或对象有关的预先训练技术。

Sep, 2021

弱监督实例分割的完整实例挖掘

利用只有图像级别标签的弱监督实例分割（WSIS）是一项具有挑战性的任务，但随着深度神经网络（DNNs）的进步，WSIS 已经引起了广泛关注。我们提出一种新颖的 WSIS 方法，通过使用 MaskIoU 头部预测 proposal 的完整度得分，采用完整实例挖掘（CIM）策略来显式建模冗余分割问题并生成精炼的伪标签。我们的方法在 PASCAL VOC 2012 和 MS COCO 数据集上实证评估，并取得了超过当前最先进方法的性能。

Feb, 2024

多模式基础模型增强弱监督语义分割：一种端到端方法

使用弱监督语义分割方法解决数据标注成本高的问题，通过借鉴视觉基础模型来学习对象边界从而提高分割结果的质量。

May, 2024

分割就是一切

本文提出了第一个无 anchor 和 NMS 的目标检测模型 WSMA-Seg，利用分割模型实现精确和稳健的目标检测，WSMA-Seg 使用多模态注释，开发了一种基于运行数据的跟踪算法来追踪物体轮廓，并提出了多尺度池化分割模型 (MSP-Seg)，实验结果表明该方法优于最先进的检测器。

Apr, 2019

通过表示、变换和补偿增强弱监督图像分割

弱监督图像分割是计算机视觉中的关键任务，依赖于图像级别的类别标签。我们提出了一种利用具有对比学习的孪生网络改进类别活动图 (CAMs) 质量并实现自我改善过程的新型单阶段 WSIS 方法。我们的方法在 PASCAL VOC 2012 数据集上实验证明其明显优于其他最先进方法，在 PASCAL VOC 2012 验证集和测试集上分别达到了 67.2% 和 68.76% mIoU。此外，我们的方法在弱监督目标定位任务中也展现出竞争力。

Sep, 2023

利用伪深度增强以盒子为监督的实例分割

本研究通过引入伪深度图到实例分割网络的训练过程中，捕捉实例间的深度差异，从而提升性能；同时，利用深度一致性作为选择最佳掩码的计算成本，使得该方法在实例分割中取得显著改进。

Mar, 2024

驾驶场景的弱监督语义分割

基于对数据集特征的广泛分析，我们提出了一种新的弱监督语义分割框架，通过使用对驾驶场景数据集进行定制化处理，克服了现有技术在这类数据集上性能严重降低的挑战，并针对 Contrastive Language-Image Pre-training（CLIP）引入的两个关键挑战提出了解决方案。

Dec, 2023

BAISeg：边界辅助的弱监督实例分割

我们提出了一种新的弱监督实例分割方法，通过预测类不可知的实例边界而不是实例中心点来识别实例，进一步增强了实例边界的连续性和闭合性，并且在只使用像素级注释的情况下取得了可观的性能。

May, 2024

3D 边界框与 SAM 相遇：弱噪声监督下的点云实例分割

通过使用预先训练的 2D 基础模型 SAM 和 3D 几何先验，本文提出了一个互补的图像提示引导的弱监督点云实例分割（CIP-WPIS）方法，用于从边界框注释中准确地获取点云实例标签。通过在 3D 候选点的全可见图像视图中选择，我们生成互补的背景和前景提示，并通过这些提示对点进行置信度分配，使用超点提供的 3D 几何均匀性来决定最终实例标签分配。通过大量实验证明，我们的方法对于嘈杂的 3D 边界框注释具有鲁棒性，并实现了最先进的性能。

Sep, 2023