该研究聚焦于 DialFRED 任务，介绍了 DialMAT 方法，其中提出了基于时刻的对抗训练，运用在语言、图像和行动的潜在空间，并引入了跨模态并行特征提取机制，基于 DialFRED 数据集构建的评估显示其在成功率和路径加权成功率方面表现优越，该模型在 CVPR 2023 体验智能研讨会的 DialFRED 挑战中取得了第一名的位置。

Nov, 2023

ALFRED 是一个用于学习自然语言指令和自我中心视觉到家庭任务动作序列映射的基准测试，包括 25k 个自然语言指令的交互式视觉环境的专家演示，并在序列长度，动作空间和语言方面比现有的视觉和语言任务数据集更复杂。

Dec, 2019

该研究提出一种名为 ELBA 的模型，以增强具有互动人类能力的代理，通过问答实现动态获取附加信息，以提高任务完成性能，并在 TEACH 视觉对话导航和任务完成数据集上进行了评估。

Feb, 2023

本文介绍了一种交互式的 “体现代理” 系统，它具有适应性，能够有效地处理自然语言指令，并提供反馈。同时，还介绍了一种用于收集有关该系统的大量文本指令的众包工具，以及该系统具有学习能力的数据集和基线模型。

May, 2023

通过收集 Human-Robot Dialogue Learning (HuRDL) Corpus 数据集，提出利用人类角色扮演机器人在在线交互虚拟环境中进行协作任务，描述了对话数据和对应注释方案，为智能代理的提高提出了帮助学习的问题。

Jun, 2021

扩展 HELPER 的记忆范围，整合额外的 API 来提问，使得代理可以跨多个领域进行计划执行、自然语言指令跟踪、主动提问和常识房间重组，HELPER-X 在四个不同的互动视觉 - 语言体验代理基准测试中取得了少量训练和最新框架表现，与接受过特定领域培训的代理保持一定的竞争力。

Apr, 2024

引入 TEACh 数据集，通过三个基准测试，研究基于人类空间的机器人必须能够与人进行自然语言交互，理解和执行指令，使用会话来解决模糊性并从错误中恢复的具体挑战。

Oct, 2021

利用机器人在电影领域的师生问答交互进行离线和在线强化学习，证明了学习者在提问时改进的效果，并验证了该方法。

Dec, 2016

本文提出了一个基于多种新思想的新方法，通过两阶段指令解析和基于当前指令的分层注意力应用提供了准确的导航预测，从多个自我为中心的视角提取必要信息，可以以较高的精度在 ALFRED 挑战中胜出且取得了远高于以前相关研究的准确率。

Jun, 2021

本研究针对 “Embodied instruction following” 的挑战性问题，利用 ALFRED 基准测试，通过引入多个视角和培训模型预测空间关系的方式来解决目标定位和语言指令接地等关键难点，同时通过引入预训练的物体检测模块来提高语言接地，实验证明我们的方法可以超越基线模型性能。

Jan, 2021