本文介绍了使用Scan2Cap方法对3D扫描中的物体进行检测和描述，在生成的描述中使用注意力机制和消息传递图模块，取得了显著的性能提升。

Dec, 2020

本文提出了一种名为InstanceRefer的模型，该模型利用语言描述实现目标类别预测，从3D点云的广义实例分割中筛选出少量实例候选项，利用多级语境推理和多层次特征匹配来实现最相关候选项的选择和定位，从而实现了优越的3D视觉定位结果

Mar, 2021

提出了一种空间语言模型用于3D视觉定位问题，使用基于Transformer的架构将空间嵌入和DistilBert的语言嵌入结合起来进行目标对象预测，能够在ReferIt3D提出的数据集上表现出竞争性，可以被应用于机器人等领域的视觉任务中。

Jul, 2021

提出了一种语言引导的物体检测模型，使用底部和顶部的启发式信息来实现参考指称地面实体，同时获得了在流行的3D语言基础基准测试中的新的最先进的性能表现，与以前的技术相比显著提高。

Dec, 2021

该研究提出了一种基于transformer的encoder-decoder结构的3D密集描述方法，包含相对空间感知机制，可以精准地为3D场景中的每个场景对象实现目标检测和自然语言描述生成。在两个基准数据集ScanRefer和ReferIt3D上，该方法均优于基线模型Scan2Cap。

Apr, 2022

本研究提出了一种基于自然语言描述和多模式视觉数据的大规模动态场景的3D视觉定位任务的方法，并且通过利用图像的外观特征、点云中的位置和几何特征以及连续输入帧中的动态特征，匹配语言中的语义特征。我们提出了两个新的数据集，STRefer和LifeRefer，这些数据集对于野外3D视觉定位的研究具有重要意义，并且有着提升自动驾驶和服务机器人发展的巨大潜力。广泛的比较和消融研究证明，我们的方法在两个提出的数据集上实现了最先进的性能。

Apr, 2023

通过语义定位3D场景中的物体是多媒体理解领域的一项基础且重要的任务，本研究提出了一种名为3D Dense Object Grounding (3D DOG)的新任务，通过更复杂的段落描述而不是单个句子来共同定位多个物体，提出了一种基于Stacked Transformer的新框架3DOGSFormer，通过上下文查询驱动的局部Transformer解码器生成初始定位提议，并利用提议驱动的全局Transformer解码器进一步优化初始定位提议，实验证明该方法在多个具有挑战性的基准上胜过现有的3D单个物体定位方法和它们的稠密对象变种。

Sep, 2023

通过并行解码，Vote2Cap-DETR提出了一种将对象定位和描述生成解耦的简单而有效的变压器框架，以及引入了迭代空间精细化策略和额外的空间信息来提高定位性能和准确描述，实验证明其优于常规的“检测然后描述”的方法。

Sep, 2023

我们介绍了使用自然语言描述来定位现实世界3D场景中多个对象的任务。我们提出了Multi3DRefer，扩展了ScanRefer数据集和任务，并引入了新的评估指标和基准方法以进一步研究多模态3D场景理解。此外，我们利用CLIP的2D特征和对比学习在线渲染对象提案，构建了更好的基准线，该基准线在ScanRefer基准测试上超越了最新技术。

Sep, 2023

CoDAv2是一个统一的框架，用于创新性地解决有限基本类别条件下的新型3D物体的定位和分类问题，其中使用3D几何和2D开放词汇语义先验来发现训练期间新型物体的伪标签以及通过3D点云和2D/文本模态之间的特征对齐来提升分类准确性。

Jun, 2024