Apr, 2024

Transcrib3D：通过大型语言模型解决 3D 指示表达

PDF
TL;DR如果机器人要与人类有效地共同工作，它们必须能够解释其 3D 环境中的物体的自然语言指示。Transcrib3D 是一种结合了 3D 检测方法和大型语言模型（LLMs）新兴推理能力的方法，通过使用文本作为统一介质，绕过了学习连接多模态输入的共享表示所需的大量注释 3D 数据的需求。通过在 3D 参考解析基准上取得最先进的结果，Transcrib3D 的有效性得到了证明，其性能远远超过了以前的多模态基准水平。为了改进零 - shot 性能并在边缘计算机和机器人上便于本地部署，我们提出了自我校正方法进行微调，训练更小的模型，结果使得性能接近于大模型的性能。我们展示了我们的方法使得真实的机器人能够在包含具有挑战性的指代表达的查询下进行拾取和放置任务。项目网站在此 https URL。
robotsnatural language references3d environmenttranscrib3dreferring expressions
发现论文，激发创造
  • Space - 语言模型用于 3D 视觉基础

    提出了一种空间语言模型用于 3D 视觉定位问题，使用基于 Transformer 的架构将空间嵌入和 DistilBert 的语言嵌入结合起来进行目标对象预测，能够在 ReferIt3D 提出的数据集上表现出竞争性，可以被应用于机器人等领域的视觉任务中。

    Jul, 2021

  • 基于大型语言模型的三维情境推理

    该研究通过 LLM-TPC 框架，利用大型语言模型，解决了 3D 环境中基于自我的观察进行问题回答的挑战，该方法在 SQA3D 基准测试上表现出了有效性、可解释性和鲁棒性。

    Apr, 2024

  • Chat-3D v2：通过对象标识符将 3D 场景与大型语言模型相连接

    我们提出了一种使用对象标识符在对话中自由引用对象的方法，通过学习每个对象的属性感知令牌和关系感知令牌来解决建立可靠的对象 - 标识符一对一对应关系以及在 LLM 的嵌入空间中融入复杂的空间关系的挑战，并通过指令调整在各种下游任务上对模型进行微调，实验证明了我们提出方法的有效性，同时创建了一个包含丰富对象标识符的 3D 场景字幕数据集，以进一步探索对象标识符在有效对象引用和精确场景理解中的能力。

    Dec, 2023

  • J-CRe3：用于现实世界参考解析的日语会话数据集

    理解物理世界的表达对于实际中的人机协作系统是至关重要的，我们提出了一种多模态参考解析任务，并构建了一个日本对话数据集 (J-CRe3)，该数据集包含了在家中两个人充当主人和助手机器人之间的实际对话的主观视角视频和对话音频，通过跨模态标签将话语中的短语与视频帧中的物体边界框相连接，同时包括间接参考关系、词谓结构和桥接引用以及直接参考关系，我们还构建了一个实验模型并明确了多模态参考解析任务中的挑战。

    Mar, 2024

  • REVERIE: 远程实体视觉室内指称表达

    本文提出了一个包含自然语言描述复杂机器人任务的数据集，以期提高机器人与人类之间的互动能力，在使用多个现实图像中的可见物体来回应多方面的指令方面进行各种复杂任务的能力是解决这一挑战的关键。我们测试了多种最先进的视觉和语言导航，以及指涉表达模型来验证这项新任务的难度，但他们中没有一个显示出有希望的结果。我们还提出了一种新颖的交互式导航 - 指针模型，为该任务提供了强有力的基线。该模型在未见测试集上表现最佳，但与人类表现相比仍有很大的改进空间。

    Apr, 2019

  • 基于参照标记的三维链接语言模型

    在本研究中，我们提出了基于 3D 大型多模型（3D LMM）的 Grounded 3D-LLM 模型，在一个统一生成框架中探索了 3D 场景理解的潜力，通过使用场景引用标记作为特殊名词短语来参考 3D 场景，将 3D 视觉任务转化为语言格式，从而实现了处理交替 3D 和文本数据序列的自然方法，并采用对应标签引导语句建立了大规模的基于含意场景的语言数据集，进一步引入了对比性语言场景预训练（CLASP）以有效利用这些数据，从而将 3D 视觉与语言模型相结合，通过在多个 3D 基准测试上进行全面评估，我们展示了 Grounded 3D-LLM 的领先性能和广泛适用性。

    May, 2024

  • Talk2Radar：自然语言与 4D 毫米波雷达的 3D 指称表达理解的桥接

    以 4D 毫米波雷达为基础，作者构建了第一个桥接自然语言和雷达场景的数据集 Talk2Radar，提出了一种新颖模型 T-RadarNet，实现了 3D 点云的自然语言驱动上下文理解，并在 Talk2Radar 数据集上取得了领先同类模型的最先进性能。

    May, 2024

  • 三维点云视觉锚定的统一框架

    3D point cloud visual grounding encompasses 3D referring expression comprehension (3DREC) and segmentation (3DRES), and this paper proposes a unified framework called 3D Referring Transformer (3DRefTR) that integrates 3DREC and 3DRES, achieving superior performance on the ScanRefer dataset.

    Aug, 2023

  • 利用大型语言模型进行机器人三维场景理解

    探讨使用大量语言模型来实现场景理解的常识；介绍了三种利用语言对包含对象的室内环境进行分类的范例：（i）零样本方法，（ii）前馈分类器方法和（iii）对比分类器方法，在现代空间感知系统生成的 3D 场景图上进行操作，并通过分析每种途径，展示了显着的零样本泛化和转移能力；最后，展示了这些方法也适用于推断包含房间的建筑标签，并在真实环境中展示了零样本方法。

    Sep, 2022

  • 三维物体语言基础

    本文介绍了一个新的推理任务，旨在针对三维对象的视觉和非视觉语言，并介绍了用于区分对象的几种 CLIP 模型。虽然最近在联合建模视觉和语言方面取得了进展，但这些基于图像的模型仍然对对象的三维性质了解不足，此文发现，将视图估计添加到语言引理模型可以提高准确性。

    Jul, 2021