提出了一种基于强化学习和 seq2seq 模型的自然语言指令执行框架，利用布尔代数、组合价值函数和语言表示等技术，大大减少学习新任务的样本复杂度，实验中发现组合价值函数和语言表示的结合使得 agent 能够快速推广到新任务。

Oct, 2021

提出了一种使用语义地图和语义搜索策略实现自然语言目标的模块化方法，不需要使用专家轨迹和低级语言指令，并使用少量数据取得了 SOTA 性能。同时，该研究表明，显式的空间记忆和语义搜索策略可以为状态跟踪和引导提供更强大和更通用的表示方式，即使没有专家轨迹或低级指令。

Oct, 2021

我们提出了一种名为 verbalizer manipulation 的新型指令跟踪评估协议，该协议通过使用高度匹配到轻微匹配的语言转化器，结合任何分类基准来检查模型对先验知识的依赖程度以及其是否能准确遵循指令。我们对四个重要的模型系列进行了全面评估，使用了每个系列的十二组语言转化器，发现模型在不同系列和规模上的指令遵循能力在较不自然的语言转化器上有明显差异。即使是最强大的 GPT-4 模型在最具挑战性的语言转化器上也难以比随机猜测更好，强调了需要持续进步来改善其指令遵循能力。

Jul, 2023

通过改变任务指令在输入句子之后的位置，我们提出了一种增强大型语言模型的指令遵循功能的方法，该方法可以显著改善条件序列生成的零样本性能。

Aug, 2023

使用模块化架构实现自然语言指令跟随，每个子目标类型具有自己的模块，并且通过学习指令分割并为每个片段预测子目标类型来选择要执行的模块序列，使模型可以更好地泛化到未见过的子目标组合和环境中。

Oct, 2020

使用自然语言隐式指令作为复杂动作的表达和组合，而不是直接选择微操作，本文基于 76,000 个自然语言指令和操作的数据集在实时策略游戏环境中训练模型，结果表明使用自然语言作为潜变量的模型在动作表达中的有效性显著优于直接模仿人类动作的模型，并且语言的组合结构对其有效性具有关键作用。同时提供了代码、模型和数据。

Jun, 2019

改进大型语言模型的细化调整方法，通过使用多样的组合指令集合，提高了模型对不同任务的泛化性能；引入了链式指令的新概念（CoI），使模型能够处理由多个子任务组成的复合指令，将模型性能在多语言摘要生成任务中进行了验证。

Feb, 2024

近期，在指令追踪模型方面取得的进展使得用户与模型的交互更加用户友好和高效，扩大了它们的适用范围。本研究引入了一种新颖的多模态指令追踪框架，用于布局规划，在设计领域，非专业用户经常由于技能和资源有限而难以创建具有视觉吸引力的布局。我们提出了三个布局推理任务来训练模型理解和执行布局指令。在两个基准测试中的实验证明，我们的方法不仅简化了非专业人员的设计过程，而且在 Crello 上的 mIoU 高于 few-shot GPT-4V 模型 12%。这一进展凸显了多模态指令追踪模型在自动化和简化设计过程方面的潜力，为视觉丰富文档上的各类设计任务提供了可行的解决方案。

Apr, 2024

本研究提出了一种使用内置语音模型的视觉 - 语言导航方法，该方法利用演讲者模型来合成新的指令进行数据增强，并实现了实用推理和全景动作空间，大大提高了基线指令跟随者的性能，在标准基准测试中成功率超过现有最佳方法的两倍。

Jun, 2018

本文提供了一个新的数据集，旨在解决零样本语义分析和训练算法，并通过增加特征和逻辑形式候选筛选逻辑，从而支持零样本适应。实验结果表明，该算法在多种零样本适应环境中展现出显著的性能提升。

Nov, 2019