InstanceRefer: 基于实例多级语境参考的点云视觉定位合作全面理解

ICCVMar, 2021

InstanceRefer: 基于实例多级语境参考的点云视觉定位合作全面理解

InstanceRefer: Cooperative Holistic Understanding for Visual Grounding on Point Clouds through Instance Multi-level Contextual Referring

PDF

Zhihao Yuan, Xu Yan, Yinghong Liao, Ruimao Zhang, Sheng Wang...

TL;DR本文提出了一种名为 InstanceRefer 的模型，该模型利用语言描述实现目标类别预测，从 3D 点云的广义实例分割中筛选出少量实例候选项，利用多级语境推理和多层次特征匹配来实现最相关候选项的选择和定位，从而实现了优越的 3D 视觉定位结果

Abstract

Compared with the visual grounding on 2D images, the natural-language-guided 3d object localization on point clouds is more challenging. In this paper, we propose a new model, named InstanceRefer, to achieve a su

3d object localization instance-matching visual grounding language description cooperative feature matching

发现论文，激发创造

提升密集三维视觉对接的三种方法

通过引入密集三维视觉接地网络 ConcreteNet，该文研究了在物理交互类应用中实现密集三维视觉接地的方法，包括引入底层注意融合模块、对潜在空间进行对比训练、以及解决视角依赖性表达的全局相机令牌，提高了富有挑战性的重复实例的接地性能，从而实现了在三维场景中进行的交互式物体定位。

Sep, 2023

基于 RGB-D 的自底向上的 3D 图像视觉定位方法

本文提出一种用于单视角 RGBD 图像的三维视觉定位的新方法，该方法采用从底层融合语言和视觉特征生成热图的方式来粗略定位相关区域，然后通过自适应特征学习和对象级匹配，并结合另一种视觉语言融合来最终定位被引用的对象。该方法在 ScanRefer 数据集和 SUNRefer 数据集上的实验证明，与现有方法相比，在两个数据集上均取得了较大的 [email protected] 提升（分别提升 11.2% 和 15.6%）。

Mar, 2021

WildRefer: 基于多模态视觉数据和自然语言的大规模动态场景中的 3D 物体定位

本研究提出了一种基于自然语言描述和多模式视觉数据的大规模动态场景的 3D 视觉定位任务的方法，并且通过利用图像的外观特征、点云中的位置和几何特征以及连续输入帧中的动态特征，匹配语言中的语义特征。我们提出了两个新的数据集，STRefer 和 LifeRefer，这些数据集对于野外 3D 视觉定位的研究具有重要意义，并且有着提升自动驾驶和服务机器人发展的巨大潜力。广泛的比较和消融研究证明，我们的方法在两个提出的数据集上实现了最先进的性能。

Apr, 2023

Multi3DRefer: 文本描述与多个 3D 对象的关联

我们介绍了使用自然语言描述来定位现实世界 3D 场景中多个对象的任务。我们提出了 Multi3DRefer，扩展了 ScanRefer 数据集和任务，并引入了新的评估指标和基准方法以进一步研究多模态 3D 场景理解。此外，我们利用 CLIP 的 2D 特征和对比学习在线渲染对象提案，构建了更好的基准线，该基准线在 ScanRefer 基准测试上超越了最新技术。

Sep, 2023

基于自由形式描述导向的点云物体 grounding 的三维视觉图网络

本篇论文提出了基于自由文本语言描述的三维物体定位方法，通过引入多个图模型来解决不同挑战。经过在挑战类数据集上的多次测试，结果表明我们所提出的算法优于现有最先进技术。

Mar, 2021

蒸馏粗粒到精粒语义匹配知识用于弱监督的三维视觉接地

利用弱监督注释学习 3D 视觉定位模型，通过分析对象提案和句子之间的语义相似性，我们构建了一个语义匹配模型，将粗粒度的场景 - 句子对应关系用于学习目标 - 句子链接。同时，我们将粗精度的语义匹配知识融入经典的两阶段 3D 视觉定位模型，以减少推理成本并提高性能。通过在 ScanRefer、Nr3D 和 Sr3D 上进行广泛实验证明了我们提出方法的有效性。

Jul, 2023

3D-SPS: 通过参考点逐步选择实现单阶段 3D 视觉定位

本文提出了一种基于语言指引的关键点选择方法，用于 3D 点云场景中的目标定位，并在实验中展示了其在 ScanRefer 和 Nr3D/Sr3D 数据集上达到了最先进的性能。

Apr, 2022

自主驾驶点云中基于语言的 3D 物体检测

本文提出了一种新的多模态视觉定位任务，称为 LiDAR Grounding，并通过设计一种名为 MSSG 的多模态单次定位方法来实现，通过跨模态学习来提高定位精度和效率。

May, 2023

CoT3DRef: 链状思考数据高效 3D 视觉定位

设计一种可解释的 3D 视觉定位框架，通过预测一系列锚点和最终目标，将 3D 视觉定位问题形式化为序列到序列任务，将指称任务分解为可解释的中间步骤，从而提高性能并极大地提高数据效率。

Oct, 2023

Space - 语言模型用于 3D 视觉基础

提出了一种空间语言模型用于 3D 视觉定位问题，使用基于 Transformer 的架构将空间嵌入和 DistilBert 的语言嵌入结合起来进行目标对象预测，能够在 ReferIt3D 提出的数据集上表现出竞争性，可以被应用于机器人等领域的视觉任务中。

Jul, 2021