提出了一种新的任务称为 3D 推理定位，并引入了一个名为 ScanReason 的新基准，该基准提供了来自五种推理类型的超过 10K 个问题 - 答案 - 位置对，需要推理与定位的相互作用，进一步设计了我们的 ReGround3D 方法，由视觉中心推理模块与多模式大型语言模型（MLLM）驱动的 3D 定位模块组成，通过回顾增强几何和细节从 3D 场景中获得准确的对象位置，并提出了一种推理和定位步骤相互交错的推理链机制来进一步提高性能，在所提出的基准上进行了广泛的实验证实了我们提出的方法的有效性。

Jul, 2024

本文提出了一种利用神经场进行三维概念定位、分割和学习的方法，并通过问题回答来实现可微分的模型训练，实现了在语义和实例分割、三维视觉推理任务中的性能提升。

Jul, 2022

本文提出一种新的多模态数据预测人类意图的方法，通过机器学习算法分析运动学信息、运用分类任务进行实验验证、结合 3D 和 2D 数据以及 2D+3D 融合分析，成功预测出未来的动作，展示了多模态方法在上下文无关的人类意图预测中的优越性。

May, 2016

本文提出了一种基于数据驱动的方法解释室内场景，并利用 CAD 3D 模型表示场景中的物体和墙壁布局，最终在 NYU 数据集上呈现了令人鼓舞的结果。

Apr, 2015

本研究提出了通过自然语言描述在 RGB-D 扫描中进行 3D 对象定位的方法 ScanRefer，使用 3D 对象提取和编码的句子嵌入来学习融合描述符，将语言表达与几何特征进行相关性建模，可以实现目标对象的 3D 边界框的回归。同时还构建了 ScanRefer 数据集，包含来自 800 个 ScanNet 场景的 11,046 个对象的 51,583 个描述。这是第一个通过自然语言直接在 3D 中执行对象定位的大规模尝试。

Dec, 2019

通过研究路面对 3D 检测提供的额外信息，提出了一种嵌入式神经网络，能够充分利用这些应用程序特定的先验知识，从而实现使用单个 RGB 摄像机确定环境中对象的位置和方向的三维目标检测。

Feb, 2021

本文提出一种用于单视角 RGBD 图像的三维视觉定位的新方法，该方法采用从底层融合语言和视觉特征生成热图的方式来粗略定位相关区域，然后通过自适应特征学习和对象级匹配，并结合另一种视觉语言融合来最终定位被引用的对象。该方法在 ScanRefer 数据集和 SUNRefer 数据集上的实验证明，与现有方法相比，在两个数据集上均取得了较大的 [email protected] 提升（分别提升 11.2% 和 15.6%）。

Mar, 2021

本文探讨了利用深度学习在 3D 物体检测中，针对使用 RGB-D 数据在室内和室外场景下进行点云识别所面临的挑战以及如何提高效率。通过利用成熟的 2D 物体检测器和先进的 3D 深度学习来提高区域建议与对象本地化的精度，以取得高回收甚至小目标检测的良好性能。在 KITTI 和 SUN RGB-D 3D 检测基准上进行了评估，相比现有技术取得了显著的大幅度升级，并具有实时性能。

Nov, 2017

本文介绍了 ScanNet 数据集的构建，该数据集包含 2.5M 的视图和 1513 个场景，提供了 3D 摄像机姿势、表面重构和语义分割等信息，并表明使用此数据集可以在 3D 场景理解任务中实现最先进的性能。

Feb, 2017

本文提出了一个新的大规模 3D 多视图视觉问答基准（3DMV-VQA），介绍了一种基于神经场，2D 预训练的视觉语言模型和神经推理运算符的 3D 概念学习与推理（3D-CLR）框架，并评估了各种最先进的模型，发现它们都表现不佳，提出了从多视图图像中推断出世界的紧凑 3D 表示，并在此基础上执行推理的原则方法，对挑战进行了深入分析并指出了潜在的未来方向。

Mar, 2023