Dec, 2019

ScanRefer: 使用自然语言在 RGB-D 扫描中进行 3D 物体定位

PDF
TL;DR本研究提出了通过自然语言描述在 RGB-D 扫描中进行 3D 对象定位的方法 ScanRefer，使用 3D 对象提取和编码的句子嵌入来学习融合描述符，将语言表达与几何特征进行相关性建模，可以实现目标对象的 3D 边界框的回归。同时还构建了 ScanRefer 数据集，包含来自 800 个 ScanNet 场景的 11,046 个对象的 51,583 个描述。这是第一个通过自然语言直接在 3D 中执行对象定位的大规模尝试。
3d object localizationrgb-d scansscanrefergeometric featuresnatural language expression
发现论文，激发创造
  • Multi3DRefer: 文本描述与多个 3D 对象的关联

    我们介绍了使用自然语言描述来定位现实世界 3D 场景中多个对象的任务。我们提出了 Multi3DRefer，扩展了 ScanRefer 数据集和任务，并引入了新的评估指标和基准方法以进一步研究多模态 3D 场景理解。此外，我们利用 CLIP 的 2D 特征和对比学习在线渲染对象提案，构建了更好的基准线，该基准线在 ScanRefer 基准测试上超越了最新技术。

    Sep, 2023

  • Scan2Cap：RGB-D 扫描中基于上下文的密集字幕生成

    本文介绍了使用 Scan2Cap 方法对 3D 扫描中的物体进行检测和描述，在生成的描述中使用注意力机制和消息传递图模块，取得了显著的性能提升。

    Dec, 2020

  • WildRefer: 基于多模态视觉数据和自然语言的大规模动态场景中的 3D 物体定位

    本研究提出了一种基于自然语言描述和多模式视觉数据的大规模动态场景的 3D 视觉定位任务的方法，并且通过利用图像的外观特征、点云中的位置和几何特征以及连续输入帧中的动态特征，匹配语言中的语义特征。我们提出了两个新的数据集，STRefer 和 LifeRefer，这些数据集对于野外 3D 视觉定位的研究具有重要意义，并且有着提升自动驾驶和服务机器人发展的巨大潜力。广泛的比较和消融研究证明，我们的方法在两个提出的数据集上实现了最先进的性能。

    Apr, 2023

  • 基于 RGB-D 的自底向上的 3D 图像视觉定位方法

    本文提出一种用于单视角 RGBD 图像的三维视觉定位的新方法，该方法采用从底层融合语言和视觉特征生成热图的方式来粗略定位相关区域，然后通过自适应特征学习和对象级匹配，并结合另一种视觉语言融合来最终定位被引用的对象。该方法在 ScanRefer 数据集和 SUNRefer 数据集上的实验证明，与现有方法相比，在两个数据集上均取得了较大的 [email protected] 提升（分别提升 11.2% 和 15.6%）。

    Mar, 2021

  • ScanQA: 三维问题回答用于空间场景理解

    通过学习语言表达与三维场景的地理特征相关的学习描述符，我们提出了一种基线模型（ScanQA），用于在三维环境中执行基于对象的问题回答，并构建了一个新的 ScanQA 数据集，其中包含来自 800 个室内场景的 40,000 个问题答案对。

    Dec, 2021

  • ScanNet: 室内场景丰富注释的 3D 重建

    本文介绍了 ScanNet 数据集的构建，该数据集包含 2.5M 的视图和 1513 个场景，提供了 3D 摄像机姿势、表面重构和语义分割等信息，并表明使用此数据集可以在 3D 场景理解任务中实现最先进的性能。

    Feb, 2017

  • Space - 语言模型用于 3D 视觉基础

    提出了一种空间语言模型用于 3D 视觉定位问题，使用基于 Transformer 的架构将空间嵌入和 DistilBert 的语言嵌入结合起来进行目标对象预测，能够在 ReferIt3D 提出的数据集上表现出竞争性，可以被应用于机器人等领域的视觉任务中。

    Jul, 2021

  • 自主驾驶点云中基于语言的 3D 物体检测

    本文提出了一种新的多模态视觉定位任务，称为 LiDAR Grounding，并通过设计一种名为 MSSG 的多模态单次定位方法来实现，通过跨模态学习来提高定位精度和效率。

    May, 2023

  • 基于自由形式描述导向的点云物体 grounding 的三维视觉图网络

    本篇论文提出了基于自由文本语言描述的三维物体定位方法，通过引入多个图模型来解决不同挑战。经过在挑战类数据集上的多次测试，结果表明我们所提出的算法优于现有最先进技术。

    Mar, 2021

  • 基于 RGB-D 数据的三维物体检测的台阶式点云网络

    本文探讨了利用深度学习在 3D 物体检测中，针对使用 RGB-D 数据在室内和室外场景下进行点云识别所面临的挑战以及如何提高效率。通过利用成熟的 2D 物体检测器和先进的 3D 深度学习来提高区域建议与对象本地化的精度，以取得高回收甚至小目标检测的良好性能。在 KITTI 和 SUN RGB-D 3D 检测基准上进行了评估，相比现有技术取得了显著的大幅度升级，并具有实时性能。

    Nov, 2017