IJCAIJun, 2021

放眼全局、再次解读：提高交互式指令跟随任务的性能

PDF
TL;DR本文提出了一个基于多种新思想的新方法，通过两阶段指令解析和基于当前指令的分层注意力应用提供了准确的导航预测，从多个自我为中心的视角提取必要信息，可以以较高的精度在 ALFRED 挑战中胜出且取得了远高于以前相关研究的准确率。
embodied ainatural language directivesalfredtwo-stage interpretationegocentric views
发现论文，激发创造
  • 如今是否已经到达目的地？学习跟随具身教学中的定位

    本研究针对 “Embodied instruction following” 的挑战性问题，利用 ALFRED 基准测试，通过引入多个视角和培训模型预测空间关系的方式来解决目标定位和语言指令接地等关键难点，同时通过引入预训练的物体检测模块来提高语言接地，实验证明我们的方法可以超越基线模型性能。

    Jan, 2021

  • ALFRED: 为日常任务解释基础指令的基准测试

    ALFRED 是一个用于学习自然语言指令和自我中心视觉到家庭任务动作序列映射的基准测试，包括 25k 个自然语言指令的交互式视觉环境的专家演示，并在序列长度，动作空间和语言方面比现有的视觉和语言任务数据集更复杂。

    Dec, 2019

  • 基于神经符号方法的交互指令跟随模型的物体和指令变化鲁棒性改进

    通过提出神经符号化方法，将高级符号特征用作中间表征，来解决自然语言指令和第一视角视觉映射到与 3D 环境中对象进行交互的操作序列时神经网络特征提取对小的改变过于敏感而未能适应测试集中未见过的属性和指令的问题。在 ALFRED 基准测试的子任务评估中，我们的实验结果表明，和端到端的神经模型相比，我们的方法在切换对象、拿起对象和切片对象的成功率等未知环境下的交互任务中显着优于前者 9 点，46 点和 74 点。

    Oct, 2021

  • 基于视觉理解规划的语言模型无需视觉输入推断详细计划

    本文研究了如何将自然语言指令转化为虚拟环境中可行的多步骤行动序列，通过实证表明，结合一定的视觉信息和上下文语境，GPT-2 模型能够成功地生成金标准语句执行序列，为基于语言的虚拟代理提供了强大的视觉语义规划模块。

    Sep, 2020

  • 评估具身代理模型泛化能力的限制：基于验证集

    研究提出了一种使用自然语言引导体现任务完成的模型，使用模块在更广阔的视野范围内学习选择下一步是否需要导航或操作，改进了现有基准数据集 ALFRED 上的表现。但是，最优模型在未见过的测试集分裂上表现不佳，突出了在机器学习任务中性能波动的需要修改基准设计以更好地考虑模型性能差异的需求。

    May, 2022

  • 在二维环境中的交互式基于语境的语言习得和推理

    基于 2D 迷宫世界，通过虚拟代理学习语言的模型，将语言的生成与理解与其他计算流程分离，从而成功地解决新单词出现的问题。模型可以解释人类可理解的中间输出结果，大幅优于其他五种比较方法。

    Jan, 2018

  • 交互指令跟随的感知和策略分解

    提出了一种名为 MOCA 的模块化物体中心方法，它将交互式知觉和行动策略流分解为增强组件，通过实验证明，在 ALFRED 基准测试中，MOCA 优于以前的方法并改善了泛化性能。

    Dec, 2020

  • 未知环境中的身体指令遵循

    通过利用多模态大型语言模型，我们构建了一个层次化的具有高级任务规划器和低级探索控制器的嵌入指令跟随框架，该方法可以在未知环境中通过在已知可见线索的基础上生成可行的计划来完成抽象指令，实验结果表明，在大型房屋场景中，我们的方法在 204 个复杂的人类指令（如做早餐和整理房间）中实现了 45.09% 的成功率。

    Jun, 2024

  • ALFWorld: 文本对话及实体环境互动学习对齐

    ALFWorld 介绍了一个新的模拟器，使得具有身体能力的代理人能够在 TextWorld 中学习抽象的文本策略，然后在富有视觉感的环境中执行 ALFRED 基准测试的目标，以促进代理人的更好泛化。

    Oct, 2020

  • LACMA：语言对齐的对比学习和元动作用于体现式指令跟踪

    通过对代理的隐藏状态与指令进行对比学习，以及引入元动作来缩小高级语言指令与代理低级行动空间之间的语义差距，该研究成功提高了代理在未知环境下的成功率。

    Oct, 2023