Oct, 2022

通过传递几何基元实现零样本点云分割

PDF
TL;DR本文介绍了一种用于零样本点云语义分割的新型框架，该框架利用了几何基元以在训练期间进行类别之间的知识转移，并使用未知感知信息熵来校准视觉与语义表示。通过大量实验，该方法在 S3DIS、ScanNet 和 SemanticKITTI 数据集上的 hIoU 指标得到了显著提升。
transductivezero-shotpoint cloudsemantic segmentationgeometric primitives
发现论文，激发创造
  • 将 CLIP 的知识转化为零样本点云语义分割

    本文提出了一种简单而有效的基线方法，将 CLIP 中的视觉语言知识在特征和输出层面上转移到点云编码器，从而在零样本点云语义分割中取得了显著的性能提升，并在无标注点云语义分割设置中取得了有希望的结果，展示了其在标签效率学习方面的巨大潜力。

    Dec, 2023

  • 更多观点，更多了解：通过多模态视觉数据进行零样本点云分割

    零射点云分割方法探索了如何识别在训练阶段未见过的点云中的新物体，并利用深度模型从已标记的已知类别转移知识到未标记的未知类别，提出了一种新颖的多模态零射学习方法，以更准确地对齐视觉和语义特征，在两个流行的基准数据集 SemanticKITTI 和 nuScenes 上进行的实验表明，我们的方法在未见类别 mIoU 上分别取得了 52% 和 49% 的提升，超过了当前的最佳方法。

    Jul, 2023

  • 通过几何词汇进行广义的少样本点云分割

    在动态测试环境中，现有的全监督点云分割方法无法应对新出现的类别。为解决这一问题，少样本点云分割算法通过学习适应新类别，但会牺牲对基类别的分割准确性，从而严重影响其实用性。因此，我们首次尝试了更实用的广义少样本点云分割范式，要求模型能够同时推广到用仅有少量支持点云表示的新类别，并保持对基类别的分割能力。我们提出了几何单词来表示基类别和新类别之间共享的几何组件，并将其融入新型几何感知语义表示中，以更好地推广到新类别而不会遗忘旧类别。此外，我们引入几何原型来利用几何先验知识来引导分割。在 S3DIS 和 ScanNet 上进行的大量实验证明了我们方法在基准方法上的卓越性能。

    Sep, 2023

  • 基于几何驱动的零样本三维点云理解聚合

    通过利用点云的几何结构改进传输的视觉 - 语言模型，我们提出了首个无需训练的聚合技术，通过几何和语义的点级推理，在分类、部件分割和语义分割等三个任务中取得了新的技术优势。

    Dec, 2023

  • 少样本 3D 点云语义分割

    为了解决 3D 点云语义分割中数据有限和模型泛化性能差的问题，本文提出了一种基于注意力机制多突出物体的跨导语义分割方法，并在各种 Few-shot 点云语义分割场景下取得了显著的效果提升。

    Jun, 2020

  • 通用零样本分割的原始生成和语义相关对齐

    本文研究了通用的零样本分割，该方法能够通过将语义空间中的跨类关系应用于视觉特征学习，从而实现新类别的全景、实例和语义分割。我们提出了一种生成模型，在无可见训练数据的情况下，为看不见的类别合成特征，进而实现了在零样本下的全景、实例和语义分割，取得了令人印象深刻的性能。

    Jun, 2023

  • 基于样本原型适应和投影的少 / 零样本三维点云语义分割

    本文提出了 Query-Guided Prototype Adaption (QGPA) 模块并通过引入 Self-Reconstruction （SR）来增强原型的表示以适应点云的大内部类特征差异和极少量数据，最终在 S3DIS 和 ScanNet 基准测试中超越最先进的算法，其中还考虑到零样本的情况

    May, 2023

  • 基于非参数贝叶斯推断的基元形状抽象

    本文提出了一种非参数贝叶斯统计方法用于从点云中推断抽象的三维形状，包括未知数量的基本几何基元，并展示了该方法的实验结果比现有方法更准确且具有普适性。

    Mar, 2022

  • 零样本学习 3D 点云物体

    本文提出使用零样本学习方法（ZSL）对未见过的三维点云进行分类，并根据新方案对模型进行基础测试，从而为三维点云识别领域带来新的挑战。

    Feb, 2019

  • 无实例级注释的弱监督三维实例分割

    通过使用弱监督的三维实例分割方法，只需要分类语义标签作为监督，而无需实例级别标签，从而减少批注成本，并利用伪实例标签辅助现有方法学习三维实例分割。

    Aug, 2023