弱监督和半监督的三维语义分割的二维特征蒸馏

Nov, 2023

弱监督和半监督的三维语义分割的二维特征蒸馏

2D Feature Distillation for Weakly- and Semi-Supervised 3D Semantic Segmentation

Ozan Unal, Dengxin Dai, Lukas Hoyer, Yigit Baran Can, Luc Van Gool

TL;DR通过使用 RGB 图像提供场景的更密集表示，我们提出了一种基于图像引导网络（IGNet）的方法，该方法借鉴了通过域适应合成训练的 2D 语义分割网络中的高级特征信息，进一步利用了一种称为 FOVMix 的新型混合策略以解决两个传感器之间的水平视场不匹配问题，以增强图像引导效果，并在 ScribbleKITTI 上实现了弱监督 LiDAR 语义分割的最先进结果，与全监督训练相比，仅使用 8% 的标记点，无需额外的标注负担或推理中的计算 / 内存成本。此外，我们还展示了我们的方法在半监督训练中的有效性，IGNet 在 ScribbleKITTI 和 SemanticKITTI 上均取得了最先进的结果。

Abstract

As 3d perception problems grow in popularity and the need for large-scale labeled datasets for lidar semantic segmentation increase, new methods arise that aim to reduce the necessity for dense annotations by emp

3d perception problems lidar semantic segmentation weakly-supervised training image-guidance network scribblekitti

发现论文，激发创造

室内场景解析的三维到二维提炼

该论文提出了一种新的室内场景语义分割方法，使用一个新的 3D-to-2D 分解框架，可以从大规模的 3D 数据中提取 3D 特征，以增强从 RGB 图像中提取的 2D 特征，并通过对其进行标准化和语义相关的对抗性训练对其进行改进。

Apr, 2021

自动驾驶中图像表征向点云的蒸馏重新审视

自监督图像网络在解决复杂的 2D 任务（如语义分割、目标发现）时非常高效且几乎没有下游监督要求，然而，当前基于激光雷达数据的自监督 3D 网络表现不佳，因此有几种方法提议将高质量的自监督 2D 特征转移到 3D 网络中，最近在自动驾驶数据上进行的尝试显示了有希望的结果，然而，这些转移后的特征与完全监督的特征之间仍然存在差距，本文重新审视了 2D 到 3D 转移，首先，针对语义分割，我们提出了一种简单的方法，相对于之前的 3D 转移方法实现了显著的提高，其次，我们证明了在高容量的 3D 网络中进行转移对于获得高质量的 3D 特征至关重要，这实际上使我们能够显著缩小无监督转移的 3D 特征与完全监督特征之间的差距，最后，我们表明我们所得到的高质量转移表示还可以用于开放词汇的分割和背景 / 前景发现。

Oct, 2023

通过深度信息引导特征蒸馏和采样的无监督语义分割

使用深度信息和无监督学习方法改进语义分割，通过对特征和深度地图之间的关联进行空间相关性学习以提高性能，并在多个基准数据集上展示了显著的改进。

Sep, 2023

自监督镜像雷达蒸馏用于自动驾驶数据

该研究提出了一种针对自动驾驶数据量身定制的自监督 3D 感知模型预训练方法，使用 superpixels 来池化 3D 点特征和 2D 像素特征，训练 3D 网络来匹配虚拟对应的 2D 像素特征并提取特征，从而实现无需任何点云或图像注释的 3D 语义分割和车辆物体检测，进行了大量的自动驾驶数据集实验以证明其有效性。

Mar, 2022

多层次视觉引导的弱监督 3D 目标检测

对于弱监督的三维物体检测任务，本文提出了一种框架来研究如何在无需任何三维标签的情况下利用二维和三维领域之间的约束，通过三种视角的视觉数据建立二维和三维领域之间的关联。实验证明，在无需使用任何三维标签的情况下，该方法在 KITTI 数据集上取得了与最先进方法相媲美的性能。

Dec, 2023

3D 特征蒸馏与对象为中心先验

将自然语言与物理世界联系起来是一个应用广泛的话题，该论文提出了一种基于对象中心先验知识的多视角特征融合策略，用于改善基于 2D 和 3D 图像的自然语言 grounding 和语言引导机器人抓取任务。

Jun, 2024

只利用 2D 图像监督学习 3D 语义分割

本文提出了一种基于 2D 图像标注来训练 3D 语义分割模型的方法，使用多视角融合来生成伪标签，并解决了选择可信的伪标签、较少目标分类、在训练过程中如何脱离 2D 图像等问题。实验结果表明，所提出的 2D3DNet 网络在一个新的城市数据集上的表现显著优于基线方法。

Oct, 2021

面向轻量级半监督语义分割的多粒度蒸馏方案

提出一种基于多层级知识蒸馏技术的轻量级半监督语义分割模型，采用标注数据和未标注数据的协同蒸馏方案，结合像素级一致性约束、语义感知层次损失和内容感知区域损失等多层次损失策略，从多个角度对模型知识进行精炼，能够在消耗更少的运算资源和更小的模型体积下取得同类模型不可比的性能提升。

Aug, 2022

多模态亲和推断弱监督 3D 语义分割

本文提出了一种简单而有效的基于场景级弱监督的点云分割方法，引入了多模态点亲和度推理模块，利用从多个模态（如点云和 RGB）得到的特征来特征化提出的点亲和度，并通过归一化分类器权重来减轻长尾分布的不利影响，无需事先知道类别分布的先验信息。通过在 ScanNet 和 S3DIS 基准测试上进行的大量实验证实了我们提出方法的有效性，其 mIoU 指标优于现有技术水平 4% 至 6%。

Dec, 2023

无实例级注释的弱监督三维实例分割

通过使用弱监督的三维实例分割方法，只需要分类语义标签作为监督，而无需实例级别标签，从而减少批注成本，并利用伪实例标签辅助现有方法学习三维实例分割。

Aug, 2023