Nov, 2023

ZeroPS: 高质量的跨模态知识传递技术用于零样本 3D 部分分割

PDF
TL;DR我们设计了一种新的零样本三维部分分割流水线 ZeroPS，它可以将二维预训练基础模型的知识高质量地传递到三维点云中。我们的方法主要基于多视图对应和基础模型的提示机制之间的自然关系，并在此基础上建立桥梁。我们的流水线包括两个组件：1) 自扩展组件，将单个视角的二维组扩展到三维全局级组；2) 多模态标记组件，引入二维检查机制，将每个二维预测的边界框投票至最佳匹配的三维部件，并使用类非最高投票惩罚函数来优化投票矩阵。此外，还包括一种合并算法来合并部件级的三维组。在 PartnetE 数据集上对三个零样本分割任务进行了广泛评估，相比现有方法，取得了显著改进的最新成果（分别提高了 19.6％，5.2％和 4.9％）。我们的方法不需要任何训练、微调或可学习参数，并且几乎不受领域变化的影响。代码将公开发布。
发现论文，激发创造
  • 基于 3D 模型的零样本姿态估计流水线

    本文介绍一个新的零样本视角估计管道，主要基于 3D 模型的零样本实例分割和零样本姿态估计。实验结果表明，该方法在速度和计算成本方面优于当前零样本状态的最佳方法。

    May, 2023

  • 将 CLIP 的知识转化为零样本点云语义分割

    本文提出了一种简单而有效的基线方法，将 CLIP 中的视觉语言知识在特征和输出层面上转移到点云编码器，从而在零样本点云语义分割中取得了显著的性能提升，并在无标注点云语义分割设置中取得了有希望的结果，展示了其在标签效率学习方面的巨大潜力。

    Dec, 2023

  • 更多观点，更多了解：通过多模态视觉数据进行零样本点云分割

    零射点云分割方法探索了如何识别在训练阶段未见过的点云中的新物体，并利用深度模型从已标记的已知类别转移知识到未标记的未知类别，提出了一种新颖的多模态零射学习方法，以更准确地对齐视觉和语义特征，在两个流行的基准数据集 SemanticKITTI 和 nuScenes 上进行的实验表明，我们的方法在未见类别 mIoU 上分别取得了 52% 和 49% 的提升，超过了当前的最佳方法。

    Jul, 2023

  • 零样本语义分割解耦

    本文提出了一种新的基于分割标签的应对零样本图像语义分割任务的方法 ——ZegFormer，采用无类别分组任务（class-agnostic grouping task）和基于分割标签的零样本分类任务（zero-shot classification task on segments）两个子任务，引入大规模视觉语言模型（如 CLIP），在 PASCAL VOC 和 COCO-Stuff 等数据集上取得了较大的性能提升。

    Dec, 2021

  • PartSLIP++: 通过多视角实例分割和最大似然估计增强低样本量 3D 零件分割

    PartSLIP++ 通过使用预训练的 2D 分割模型和改进的 EM 算法，取代其前身的启发式 3D 转换流程，用于开放世界的 3D 部分分割任务，表现出更好的性能。

    Dec, 2023

  • 3D-PSRNet: 由单张图像重建部分分割的 3D 点云

    本文提出了一种机制，可以在只有一张输入图片的情况下重建物体的部分标注 3D 点云，该机制采用联合训练的方式，同时针对重建和分割任务进行训练，通过引入一种位置感知分割损失函数，在训练过程中相互传递信息以帮助彼此，这种方法在 ShapeNet 数据集上得到了良好的效果，提高了重建和分割的精度。

    Sep, 2018

  • PointSeg：基于基础模型的三维场景分割的非训练范式

    PointSeg 是一种新的无需训练的范例，借助现有的视觉基础模型来解决 3D 场景感知任务，并展示了令人印象深刻的分割性能。

    Mar, 2024

  • 跨模态和跨域知识迁移对无标签 3D 分割

    通过探索图像和点云之间的关系并设计有效的特征对齐策略，我们提出了一种新颖的方法来解决具有挑战性的跨模态和跨域自适应任务，在没有任何 3D 标签的情况下，我们的方法利用 KITTI360 和 GTA5 的知识，在 SemanticKITTI 上达到了 3D 点云语义分割的最先进性能，相比现有的无监督和弱监督基准。

    Sep, 2023

  • 零样本语义分割

    本文提出了一个新的任务：零样本语义分割，要求学习像素级分类器从未见过的物体类别中进行分类。ZS3Net 是本文提出的一种新架构，它将深度视觉分割模型与从语义词嵌入生成视觉表示的方法相结合，以实现在测试时间处理已见和未见类别的像素分类任务。本文还通过自我训练进一步提高了性能，并在 Pascal-VOC 和 Pascal-Context 两个标准分割数据集上提出了零样本基准并设立竞争基线。此外，对于像 Pascal-Context 数据集中的复杂场景，我们通过使用图形上下文编码来完全利用来自类别分割地图的空间上下文先验知识。

    Jun, 2019

  • Reasoning3D -- 3D 中的基于先验知识与推理：通过大型视觉语言模型进行细粒度零样本开放词汇的 3D 推理部分分割

    这篇论文介绍了一种基于零样本推理的 3D 分割新任务，以搜索和定位物体的部件为目标，它超越了先前的类别特定 3D 语义分割、3D 实例分割和开放词汇 3D 分割的限制。我们设计了一个简单的基线方法，Reasoning3D，能够理解和执行复杂的命令，对具有上下文感知和推理答案的 3D 网格进行 (细粒度的) 特定部分分割。该方法利用现成的预训练二维分割网络，由大型语言模型 (LLMs) 支持，在零样本的方式下解释用户的输入查询。我们的方法具有泛化性，能够根据隐含的文本查询有效地定位和突出显示 3D 对象的部分，包括这些组成部分的 3D 对象和真实世界的扫描数据。此外，我们的无训练方法可实现快速部署，并成为未来研究中关于部件级 3D (语义) 对象理解的可行通用基线，在包括机器人学、物体操作、部件装配、自动驾驶应用、增强现实和虚拟现实 (AR/VR) 以及医疗应用等各个领域发挥作用。该论文提供了代码、模型权重、部署指南和评估协议。

    May, 2024