更多观点，更多了解：通过多模态视觉数据进行零样本点云分割

ICCVJul, 2023

更多观点，更多了解：通过多模态视觉数据进行零样本点云分割

See More and Know More: Zero-shot Point Cloud Segmentation via Multi-modal Visual Data

Yuhang Lu, Qi Jiang, Runnan Chen, Yuenan Hou, Xinge Zhu...

TL;DR零射点云分割方法探索了如何识别在训练阶段未见过的点云中的新物体，并利用深度模型从已标记的已知类别转移知识到未标记的未知类别，提出了一种新颖的多模态零射学习方法，以更准确地对齐视觉和语义特征，在两个流行的基准数据集 SemanticKITTI 和 nuScenes 上进行的实验表明，我们的方法在未见类别 mIoU 上分别取得了 52% 和 49% 的提升，超过了当前的最佳方法。

Abstract

zero-shot point cloud segmentation aims to make deep models capable of recognizing novel objects in point cloud that are unseen in the training phase. Recent trends favor the pipeline which transfers knowledge fr

zero-shot point cloud segmentation deep models transfer learning multi-modal zero-shot learning visual-semantic alignment

发现论文，激发创造

将 CLIP 的知识转化为零样本点云语义分割

本文提出了一种简单而有效的基线方法，将 CLIP 中的视觉语言知识在特征和输出层面上转移到点云编码器，从而在零样本点云语义分割中取得了显著的性能提升，并在无标注点云语义分割设置中取得了有希望的结果，展示了其在标签效率学习方面的巨大潜力。

Dec, 2023

零样本学习 3D 点云物体

本文提出使用零样本学习方法（ZSL）对未见过的三维点云进行分类，并根据新方案对模型进行基础测试，从而为三维点云识别领域带来新的挑战。

Feb, 2019

通过传递几何基元实现零样本点云分割

本文介绍了一种用于零样本点云语义分割的新型框架，该框架利用了几何基元以在训练期间进行类别之间的知识转移，并使用未知感知信息熵来校准视觉与语义表示。通过大量实验，该方法在 S3DIS、ScanNet 和 SemanticKITTI 数据集上的 hIoU 指标得到了显著提升。

Oct, 2022

少样本 3D 点云语义分割

为了解决 3D 点云语义分割中数据有限和模型泛化性能差的问题，本文提出了一种基于注意力机制多突出物体的跨导语义分割方法，并在各种 Few-shot 点云语义分割场景下取得了显著的效果提升。

Jun, 2020

跨模态和跨域知识迁移对无标签 3D 分割

通过探索图像和点云之间的关系并设计有效的特征对齐策略，我们提出了一种新颖的方法来解决具有挑战性的跨模态和跨域自适应任务，在没有任何 3D 标签的情况下，我们的方法利用 KITTI360 和 GTA5 的知识，在 SemanticKITTI 上达到了 3D 点云语义分割的最先进性能，相比现有的无监督和弱监督基准。

Sep, 2023

基于几何驱动的零样本三维点云理解聚合

通过利用点云的几何结构改进传输的视觉 - 语言模型，我们提出了首个无需训练的聚合技术，通过几何和语义的点级推理，在分类、部件分割和语义分割等三个任务中取得了新的技术优势。

Dec, 2023

跨模态自训练：无需标签的图像与点云对齐学习分类

通过使用 Cross-MoST 优化框架，结合 CLIP 等 2D 视觉语言模型，可以提高无需标签的零样本 3D 视觉模型的分类性能，并且实现图像和点云模态之间的跨模态知识交流。

Apr, 2024

生成式零样本学习用于三维点云语义分割

本研究提出了一种新的基于生成模型的零样本学习方法，能够处理包括分类和语义分割在内的三维数据，在 ModelNet40 数据集上表现良好，并在 S3DIS，ScanNet 和 SemanticKITTI 数据集上进行了验证。

Aug, 2021

通过跨模态蒸馏和超体素聚类进行三维点云的无监督语义分割

本文提出了一个名为 PointDC 的新型分割框架，通过两个阶段的处理（CMD 和 SVC），实现在不使用任何形式的注释的情况下的点云全自动无监督语义分割。该框架在 ScanNet-v2 和 S3DIS 两种数据集上均优于以往的无监督学习方法，分割性能显著提高。

Apr, 2023

零样本语义分割

本文提出了一个新的任务：零样本语义分割，要求学习像素级分类器从未见过的物体类别中进行分类。ZS3Net 是本文提出的一种新架构，它将深度视觉分割模型与从语义词嵌入生成视觉表示的方法相结合，以实现在测试时间处理已见和未见类别的像素分类任务。本文还通过自我训练进一步提高了性能，并在 Pascal-VOC 和 Pascal-Context 两个标准分割数据集上提出了零样本基准并设立竞争基线。此外，对于像 Pascal-Context 数据集中的复杂场景，我们通过使用图形上下文编码来完全利用来自类别分割地图的空间上下文先验知识。

Jun, 2019