本文提出了一个包含自然语言描述复杂机器人任务的数据集，以期提高机器人与人类之间的互动能力，在使用多个现实图像中的可见物体来回应多方面的指令方面进行各种复杂任务的能力是解决这一挑战的关键。我们测试了多种最先进的视觉和语言导航，以及指涉表达模型来验证这项新任务的难度，但他们中没有一个显示出有希望的结果。我们还提出了一种新颖的交互式导航 - 指针模型，为该任务提供了强有力的基线。该模型在未见测试集上表现最佳，但与人类表现相比仍有很大的改进空间。

Apr, 2019

本文提出了一个能够模拟人类行为的代理程序，旨在解决 REVERIE 任务，通过两个交叉模态对齐子任务的预训练阶段，即场景定位任务和对象定位任务，再结合记忆增强注意力动作解码器来生成行动序列，证明了本方法的有效性。

Mar, 2021

本文介绍一种通过深度强化学习的方式，结合空间和时间情境及自然语言先验知识，移动和重塑边界框以定位描述中的物体，从而实现自然语言目标检索任务。作者实验表明，该方法在多个数据集上均优于现有算法，特别在 ReferItGame 数据集上，该方法相比 GroundeR 和 SCRC 的准确率分别提高了 7.67％和 18.25％。

Mar, 2017

本文提出了一种方法来解决复杂开放环境下机器人操作的问题，该方法基于先前训练的通用视觉模型作为感知系统的对象先验，并引入了一个基于对象的注意机制来确定相关对象，通过少数轨迹或演示将这些对象纳入学习策略，使用强化学习可以学习多种操作任务。

Aug, 2017

这篇论文提出了一种名为 March-in-Chat (MiC) 的模型，可以与大型语言模型进行交互，并基于一种新提出的会考虑房间和物体的感知模型（ROASP）进行动态规划，为 REVERIE 基准测试中的 SPL 和 RGSPL 指标提供了比以往最优模型更好的性能。

Aug, 2023

本文介绍了一个新的推理任务，旨在针对三维对象的视觉和非视觉语言，并介绍了用于区分对象的几种 CLIP 模型。虽然最近在联合建模视觉和语言方面取得了进展，但这些基于图像的模型仍然对对象的三维性质了解不足，此文发现，将视图估计添加到语言引理模型可以提高准确性。

Jul, 2021

我们开发了一种基于机器学习的模型，使机器人能够根据物体的用途检索物体，而不是仅针对特定的物体类型或视觉属性，从而实现了高级概念的预测和自然语言命令的推广。

Jun, 2020

DoRO 是一个可以提出适当查询帮助机器人消除歧义的系统，可以通过结合多个视图的观察来找到给定区域内对象的所有实例，并使用这些信息提出合适的查询。在 AI2Thor 模拟器上的实验表明，DoRO 不仅能更准确地检测到歧义，还可以使用来自视觉 - 语言基础的更准确信息发起详细查询。

Jul, 2022

本文介绍了一种基于人 - 机交互的方法，用于 domestic service robots 在日常环境中按照指令检索目标物体的任务。提出了名为 MultiRankIt 的新颖方法，在此基础上建立了一个新的数据集，并通过实验验证了其在物体检索方面的优越性，成功率达到 80%。

Dec, 2023

该研究介绍了一种方法，使机器人能够迅速学习给定物体的完整三维模型以便在陌生的方向上进行操作，通过优化信息性和可行性来确定下一步动作，并通过重新估计物体姿态来纠正相互作用过程中引入的不对齐，通过实验证明与现有方法相比，在视觉重建质量（PSNR）提高 14％，在对象表面几何 / 深度重建（F-score）方面提高 20％，在场景中操作未见过方向 / 稳定配置的物体的任务成功率提高 71％。

Apr, 2024