该研究揭示家庭机器人在执行长期任务时通过使用三维编码和视觉语言模型可实现客观目标定位；通过实证研究，该研究表明该方法优于以往的同类工作并适用于实际机器人平台。

Jan, 2023

本文提出了一个包含自然语言描述复杂机器人任务的数据集，以期提高机器人与人类之间的互动能力，在使用多个现实图像中的可见物体来回应多方面的指令方面进行各种复杂任务的能力是解决这一挑战的关键。我们测试了多种最先进的视觉和语言导航，以及指涉表达模型来验证这项新任务的难度，但他们中没有一个显示出有希望的结果。我们还提出了一种新颖的交互式导航 - 指针模型，为该任务提供了强有力的基线。该模型在未见测试集上表现最佳，但与人类表现相比仍有很大的改进空间。

Apr, 2019

DOrA 是一个使用大型语言模型的 3D 视觉指向框架，通过引入有序锚定对象，更新视觉特征并定位目标对象，在低资源和全数据场景下表现出超越当前最先进框架的优越性，分别在 1％数据和 10％数据设置下将基准提高了 9.3％和 7.8％的准确率。

Mar, 2024

本研究介绍了一种基于模块化方法的场景感知机器人视觉定位框架，该方法通过训练每个模块来独立解析实体、属性和空间关系，并结合领域自适应技术解决常见问题。实验表明，该框架与 Sim-To-Real 实现的视觉识别方法相结合，能够提供一种数据高效、稳健且易于理解的视觉定位机器人方案。

May, 2022

通过运用认知科学中的教学法和实用主义解决自然语言中的指称歧义，提高了机器人学习者在模拟机器人任务（堆叠）中的样本效率。

Sep, 2022

本研究提出了一种机器人系统和方法，通过对目标对象提前命名，减少自然语言命令的歧义问题，实现了更高的物体操作成功率。

Mar, 2023

本文提出了一个能够模拟人类行为的代理程序，旨在解决 REVERIE 任务，通过两个交叉模态对齐子任务的预训练阶段，即场景定位任务和对象定位任务，再结合记忆增强注意力动作解码器来生成行动序列，证明了本方法的有效性。

Mar, 2021

这项研究关注于在人类中心环境中操作的机器人，通过整合视觉定位和抓握能力，根据用户指令高效操纵物体。首先创建了一个基于 OCID 数据集中杂乱室内场景的难题基准，其中生成指代表达式并与 4 自由度的抓握姿势相连接，然后提出了一种新颖的端到端模型（CROG），利用 CLIP 的视觉定位能力直接从图像 - 文本对中学习抓握综合。实验结果表明，CROG 在挑战性基准测试中显著改善了定位和抓握能力，经过模拟和硬件的广泛机器人实验证明了该方法在具有杂乱物体的挑战性交互抓握场景中的有效性。

Nov, 2023

我们构建了一个名为 Reasoning Intention-Oriented Objects (RIO) 的全面数据集，利用该数据集我们评估了一些现有模型在开放环境中推理面向意图的对象的能力。

Oct, 2023

本文探讨了用口语作为输入的物体指称（ORSpoken），通过介绍两个数据集和一种新的方法来为多模式学习提供了理想的数据集，并在相应的层次引入任务特定的视觉语言交互，实验表明我们的方法在减轻背景噪声方面具有很好的效果。

Nov, 2017