本研究针对 “Embodied instruction following” 的挑战性问题，利用 ALFRED 基准测试，通过引入多个视角和培训模型预测空间关系的方式来解决目标定位和语言指令接地等关键难点，同时通过引入预训练的物体检测模块来提高语言接地，实验证明我们的方法可以超越基线模型性能。

Jan, 2021

我们提出了一种名为 In-Context Abstraction Learning（ICAL）的方法，通过从次优演示和人类反馈中构建多模态体验洞察记忆，将 VLMs 将轨迹抽象为一个通用程序，显著提高了检索增强的 LLM 和 VLM 代理的决策能力。

Jun, 2024

本文中，我们提出了 Moment-based Adversarial Training（MAT）的方法，用于帮助机器人处理家庭任务，并在 ALFRED benchmark 上取得了优异的结果。

Apr, 2022

本文介绍了一种名为 Contrastive Language, Action, and State Pre-training (CLASP) 的方法，采用分布式输出使文本命令和行为单元之间的对齐变得更加准确，从而帮助了解决机器人学习中的相关问题。该模型在对未知数据集进行检索和图像描述生成等任务中表现出了优秀的性能。

Apr, 2023

本研究旨在探讨对多任务教学学习（MTIL）应用元学习（meta-learning）是否可以进一步提高对未见任务的泛化能力。通过在自然语言理解（NLU）任务的大规模数据集上进行广泛实验，我们提出的方法在零 - shot 场景下显著改善了强基线，尤其是在测试任务严格为零 - shot 且对语言模型（LM）较难的情况下，元学习可提高教学的有效性，展示出 MTIL 的元学习在新任务中的潜力。

Oct, 2022

研究提出了一种使用自然语言引导体现任务完成的模型，使用模块在更广阔的视野范围内学习选择下一步是否需要导航或操作，改进了现有基准数据集 ALFRED 上的表现。但是，最优模型在未见过的测试集分裂上表现不佳，突出了在机器学习任务中性能波动的需要修改基准设计以更好地考虑模型性能差异的需求。

May, 2022

本文提出了一个基于多种新思想的新方法，通过两阶段指令解析和基于当前指令的分层注意力应用提供了准确的导航预测，从多个自我为中心的视角提取必要信息，可以以较高的精度在 ALFRED 挑战中胜出且取得了远高于以前相关研究的准确率。

Jun, 2021

Action-Based Contrastive Self-Training (ACT) is a quasi-online preference optimization algorithm that improves conversation modeling in large language models (LLMs), particularly in the area of disambiguation and dialogue policy learning.

May, 2024

我们的研究探索了语言代理程序的开放式行为学习，在每一次迭代中，通过修正和更新当前可用的动作，从而提高动作的有效性，实验证明，这种开放式行为学习方法显著改善了代理程序的性能，突出了经验行为学习在更智能的大型语言模型代理程序发展中的重要性。

Feb, 2024

提出了一个学习机器人操纵任务高级认知能力的新框架，使用语言模型构建 AlphaBlock 数据集，自动采集综合高级多步文本计划和配对观察序列，使用多模式的闭环计划模型自回归生成计划，从而实现对机器人的精细操作。实验结果表明，该方法显著提高了成功率。

May, 2023