Jun, 2023

慢 - 快对比融合实现三维目标实例分割

PDF
TL;DR本文提出了一种新的方法，通过利用二维预训练模型，将二维 segments 抬升为三维，并使用神经场表示将它们融合在一起，实现多层面的一致性，并提出了一个可扩展并适合于大量对象的场慢的聚类方法。通过新建的混乱房间数据集，以及 ScanNet、Hypersim 和 Replica 数据集上的实验，证明了该方法的有效性和可扩展性。
发现论文，激发创造
  • 无实例级注释的弱监督三维实例分割

    通过使用弱监督的三维实例分割方法，只需要分类语义标签作为监督，而无需实例级别标签，从而减少批注成本，并利用伪实例标签辅助现有方法学习三维实例分割。

    Aug, 2023

  • 对比高斯聚类：弱监督的三维场景分割

    引入了对比高斯聚类的新方法，能够从任何视角提供分割掩模，并实现场景的三维分割。

    Apr, 2024

  • 多任务度量学习实现的三维实例分割

    提出了一种多任务学习策略来解决三维实体标记问题，该方法可以 accurately separate 连通的和扫描不完整的对象，实验表明该方法在 ScanNet 数据集上实现了最先进的性能。

    Jun, 2019

  • Open-YOLO 3D：面向快速准确的开放词汇的 3D 实例分割

    我们提出了一种名为 Open-YOLO 3D 的快速而准确的开放词汇 3D 实例分割方法，在多视角 RGB 图像中有效利用仅 2D 对象检测进行开放词汇 3D 实例分割，并通过生成类无关的 3D 掩码并与文本提示相关联来处理此任务。我们的 Open-YOLO 3D 在两个基准测试集 ScanNet200 和 Replica 上实现了最先进的性能，在与文献中最佳方法相比速度提高了多达 16 倍。

    Jun, 2024

  • 弱监督和半监督的三维语义分割的二维特征蒸馏

    通过使用 RGB 图像提供场景的更密集表示，我们提出了一种基于图像引导网络（IGNet）的方法，该方法借鉴了通过域适应合成训练的 2D 语义分割网络中的高级特征信息，进一步利用了一种称为 FOVMix 的新型混合策略以解决两个传感器之间的水平视场不匹配问题，以增强图像引导效果，并在 ScribbleKITTI 上实现了弱监督 LiDAR 语义分割的最先进结果，与全监督训练相比，仅使用 8% 的标记点，无需额外的标注负担或推理中的计算 / 内存成本。此外，我们还展示了我们的方法在半监督训练中的有效性，IGNet 在 ScribbleKITTI 和 SemanticKITTI 上均取得了最先进的结果。

    Nov, 2023

  • 使用对比场景语境探索数据高效的三维场景理解

    本文提出一种基于对比场景上下文的三维预训练方法，在数据量和标注不足时实现了全面标注的近乎完全的实例分割和语义分割。

    Dec, 2020

  • 多级三维零件实例分割的语义分割辅助实例特征融合

    本文提出了一种基于语义分割和实例中心预测的方法，进一步利用形状语义学和部件实例之间的内在关系，同时利用多个层次的特征融合以及语义区域中心预测任务来提高实例点的聚类性能，该方法在 PartNet 基准测试中表现优异。

    Aug, 2022

  • FM-Fusion: 基于视觉 - 语言基础模型的实例感知语义映射增强

    基于视觉 - 语言基础模型，本研究提出了一种概率标签融合方法，用于从开放集标签测量中预测闭合集语义类别，以增强基于实例感知的语义映射；通过整合各模块构建一个统一的语义映射系统，并通过 ScanNet 和 SceneNN 数据集评估了方法的零样本性能，取得了显著优于传统方法的 40.3 均值平均精度（mAP）的结果。

    Feb, 2024

  • 利用大规模预训练视觉基础模型进行高效标签的 3D 点云分割

    通过采用大规模预训练模型、计算机视觉和 2D 任务，本研究提出了一种新的框架来解决 3D 点云分割任务，通过将 2D 语义分割预测投影到 3D 空间，并引入语义标签融合策略，实现了在扩展的数据集上的 3D 场景理解。

    Nov, 2023

  • 3DCFS: 基于耦合特征选择的快速、鲁棒联合三维语义实例分割

    提出了一种名为 3DCFS 的新型快速坚固的 3D 点云分割框架通过耦合特征选择，以联合执行语义和实例分割，并通过耦合特征选择模块 CFSM 自适应选择和融合两个任务中的互惠语义和实例特征来进一步提高实例分割任务的性能。

    Mar, 2020