基于统一变形器和自监控的语言指令分层任务学习

ACLJun, 2021

基于统一变形器和自监控的语言指令分层任务学习

Hierarchical Task Learning from Language Instructions with Unified Transformers and Self-Monitoring

Yichi Zhang, Joyce Chai

TL;DR本文提出一个名称为 HiTUT 的模型，将任务学习分解成三个子问题：子目标规划、场景导航和物体操作，并统一解决了每个子问题，以学习分层任务结构。在 ALFRED 基准测试中，HiTUT 表现出最好的性能和更高的泛化能力。

Abstract

Despite recent progress, learning new tasks through language instructions remains an extremely challenging problem. On the alfred benchmark for task learning, the published state-of-the-art system only achieves a task success rate of less than 10% in an unseen environment, compared to

task learning alfred benchmark sub-goal planning scene navigation object manipulation

发现论文，激发创造

基于视觉理解规划的语言模型无需视觉输入推断详细计划

本文研究了如何将自然语言指令转化为虚拟环境中可行的多步骤行动序列，通过实证表明，结合一定的视觉信息和上下文语境，GPT-2 模型能够成功地生成金标准语句执行序列，为基于语言的虚拟代理提供了强大的视觉语义规划模块。

Sep, 2020

ALFRED: 为日常任务解释基础指令的基准测试

ALFRED 是一个用于学习自然语言指令和自我中心视觉到家庭任务动作序列映射的基准测试，包括 25k 个自然语言指令的交互式视觉环境的专家演示，并在序列长度，动作空间和语言方面比现有的视觉和语言任务数据集更复杂。

Dec, 2019

使用语言的交互式分层指导

使用语言命令实现上下层结构分离的强化学习方法，在长期规划任务中能够有效提高任务样本效率并保持可解释性和人工干预能力。

Oct, 2021

如今是否已经到达目的地？学习跟随具身教学中的定位

本研究针对 “Embodied instruction following” 的挑战性问题，利用 ALFRED 基准测试，通过引入多个视角和培训模型预测空间关系的方式来解决目标定位和语言指令接地等关键难点，同时通过引入预训练的物体检测模块来提高语言接地，实验证明我们的方法可以超越基线模型性能。

Jan, 2021

层次化视觉语言表示的多任务学习

该研究提出了一种多任务学习的方法，将来自各种不同数据集的任务共享视觉语言表示。结果表明该方法在图像字幕检索、视觉问答和视觉定位方面比先前的单任务学习方法表现更好，同时通过可视化注意力图分析了学习到的分层表示。

Dec, 2018

面向机器人操作的指导驱动历史感知策略

本研究提出了一种基于 Transformer 的方法来处理人类语言指令和多视角场景观察，以提高机器人的精准操作，并在 RLBench 基准测试中成功实现 74 项任务，还表现出对未曾见过变化的任务的良好泛化性能。

Sep, 2022

LoTa-Bench: 为具有体现性代理的面向语言任务规划器进行基准测试

提出了一个针对家庭服务实体代理的任务规划性能自动量化基准系统，对大型语言模型和提示进行了广泛实验，并探索了基线任务规划器的多个改进，预计该基准工具将加快语言导向的任务规划器的发展。

Feb, 2024

基于神经符号方法的交互指令跟随模型的物体和指令变化鲁棒性改进

通过提出神经符号化方法，将高级符号特征用作中间表征，来解决自然语言指令和第一视角视觉映射到与 3D 环境中对象进行交互的操作序列时神经网络特征提取对小的改变过于敏感而未能适应测试集中未见过的属性和指令的问题。在 ALFRED 基准测试的子任务评估中，我们的实验结果表明，和端到端的神经模型相比，我们的方法在切换对象、拿起对象和切片对象的成功率等未知环境下的交互任务中显着优于前者 9 点，46 点和 74 点。

Oct, 2021

视觉语言导航的史诗变压器

本文提出了一种名为 Episodic Transformer (E.T.) 的多模态 Transformer，可解决使用自然语言指令进行交互和导航所面临的挑战。通过采用合成指令来改善训练和决策，使得 E.T. 能够处理历史信息，以实现复合式任务，并在具有挑战性的 ALFRED 基准测试中取得了 38.4% 和 8.5% 的任务成功率。

May, 2021

机器人的交互式视觉任务学习

我们提出了一个框架，使机器人能够通过与人类用户进行当场语言交互来学习新的视觉概念和任务。通过在概念层次结构中给予新概念的父节点增加信息传播，我们提出了一种新方法 Hi-Viscont，该方法允许学习视觉概念层次结构的方法学习新的概念并解决未见过的机器人任务。我们还将视觉任务表示为带有语言注释的场景图，从而使我们能够零样例实时创建任务的新排列组合。通过与基线模型比较 Hi-Viscont 在视觉问答中的表现，我们得出一系列结果。在叶节点概念上，Hi-Viscont 与基线模型具备可比性，但在非叶节点概念上平均提高了超过 9%。对比基线模型，我们的框架在成功率、物体级准确率上分别提高了 33% 和 19%，从而证明了我们的模型在机器人的持续学习环境中学习任务和概念的能力。

Dec, 2023