Mar, 2023

3D 点云中的开放词汇能力检测

PDF
TL;DR本文介绍了一种名为 Open-Vocabulary Affordance Detection （OpenAD）的方法，能够在三维点云中检测出大量未被预定义的功能，无需单一标注实例即可实现零 - shot 检测，并成功利用功能语义关系提高检测效率，在多种场景中均表现出优异的性能，具有实际应用价值。
affordance detectionopen-vocabulary affordance detectionintelligent robotssemantic relationshipsreal-world robotic applications
发现论文，激发创造
  • 无需三维注释的开放词汇点云物体检测

    本文探讨了通过分治策略进行开放式词汇 3D 点云检测的方法，该方法使用图像预训练模型来学习定位各种对象，并连接文本和点云表示，以便根据提示文本对新对象类别进行分类，从而实现开放式词汇 3D 目标检测，同时在 ScanNet 和 SUN RGB-D 数据集上实现了显著的性能提升。

    Apr, 2023

  • 基于图像级别分类和去偏置交叉模态对比学习的开放词汇三维检测

    OV-3DETIC 是一个开放式词汇的 3D 点云检测器，使用基于图像的分类监督，并利用伪标签和实现跨模态对比学习方法从 ImageNet1K 扩展了其单词表，从而使点云检测器具有实现开放式词汇检测的能力，并实现了至少 10.77% 的 mAP 绝对值改进。

    Jul, 2022

  • 自动驾驶的 3D 无监督学习：通过提炼 2D 开放词汇分割模型实现

    提出了一种由 2D 开放词汇的分割模型辅助的新型三维无监督框架（UOV），通过学习未标注数据的点云表征，采用了两个阶段：首先，创新地结合了 2D 开放词汇模型的高质量文本和图像特征，提出了三模态对比预训练（TMP）；其次，利用点云和图像之间的空间映射生成伪标签，实现异态知识蒸馏。并引入了近似平面交互（AFI）来解决对齐噪声和标签混淆问题。在多个相关数据集上进行了大量实验证明了 UOV 的优越性，在 nuScenes 的无需标注的点云分割任务上，实现了创纪录的 47.73% 的 mIoU，超过了之前最好模型 10.70% 的 mIoU。同时，在 nuScenes 和 SemanticKITTI 上使用 1% 的数据进行微调，取得了显著的 51.75% 和 48.14% 的 mIoU，超过了所有之前的预训练模型。

    May, 2024

  • 激光雷达点的自动词汇分割

    自动驾驶中现有的感知方法无法识别训练数据中未覆盖的未知实体。开放词汇方法能够检测任何目标，但受限于用户指定的查询代表目标类别。我们提出了 AutoVoc3D，一种用于自动目标类别识别和开放式分割的框架。在 nuScenes 中的评估显示了 AutoVoc3D 生成精确的语义类别和准确的逐点分割的能力。此外，我们引入了一种新的度量方法 Text-Point 语义相似性，用于评估文本和点云之间的语义相似性，而不排除新的类别。

    Jun, 2024

  • 3D AffordanceNet：视觉物体可供性理解的基准测试

    本论文介绍了一个名为 3D AffordanceNet 的数据集，其中包含来自 23 个语义对象类别的 23k 个形状，注释了 18 个视觉可用性类别，并提供了三个评估视觉可用性理解的基准测试任务。作者评估了三种最先进的点云深度学习网络，并研究了半监督学习设置探索利用未标记数据的可能性。综合结果表明，视觉可用性理解是一个有价值但具有挑战性的基准测试。

    Mar, 2021

  • 走向视觉功能学习：一个为功能分割和识别设定的基准

    本文介绍了一个大规模多视角 RGBD 视觉可供性学习数据集及其基准测试方法，它包含了来自 37 种对象类别、配有 15 种视觉可供性类别和 35 种杂乱 / 复杂的场景的 47210 个 RGBD 图像。我们提出了一个名为 ARNet 的【可供性识别网络】，证明了该数据集的挑战性以及提出的新的强大的可供性学习算法的明确前景。

    Mar, 2022

  • AGO-Net：基于关联引导的 3D 点云物体检测网络

    通过领域自适应将感知域中的真实场景特征与概念域中的增强场景特征进行关联，提出了一种新的 3D 检测框架，同时引入基于注意力的重加权模块，无需增加推理成本即可利用网络特征增强能力，在 KITTI 3D 检测基准测试中实现了更高的性能。

    Aug, 2022

  • Associate-3Ddet: 基于感知到概念的三维点云物体检测关联

    本文提出了一种新颖的基于领域自适应的方法，以增强点云数据的鲁棒性，成功地解决了 3D 目标检测中出现的挑战性任务并达到了最先进水平。

    Jun, 2020

  • 学习环境感知下的遮挡情况下 3D 关节物体操作的可供性

    通过结合物体层面的可行先验和环境约束，我们提出了一个环境感知的可行性框架，该框架能够在考虑环境约束的情况下学习可行性，对于包含单个遮挡物和复杂遮挡物组合的场景具有良好的泛化效果。

    Sep, 2023

  • Waymo 开放数据集挑战赛 3D 检测和域自适应解决方案第一名

    介绍了一种无锚点、无 NMS 的 3D 点云目标检测器，使用对象关键点编码 3D 属性实现端到端检测，利用数据增强和点着色以及投影到相机空间和图像感知信息的附加属性来增强性能，并通过模型集成和 TTA 在 3D 检测和域自适应路线上实现了第一名。

    Jun, 2020