EMNLPOct, 2023

使具有身体的代理程序理解人类指令

PDF
TL;DR提出了一种名为 tagE 的新系统，采用神经网络模型来从复杂的自然语言任务说明中提取一系列任务和相应的参数，并将这些任务映射到机器人的技能集合中，参数与环境中的对象关联。实验证明这种方法胜过坚实的基线模型。
natural language understandingembodied agentstask and argument groundingneural network modelcomplex task instructions
发现论文，激发创造
  • 通过交互式基于语境的语言指导重新定义具有代表性的代理人能力，改变以人为中心的 AI 协作

    本文介绍了一种交互式的 “体现代理” 系统，它具有适应性，能够有效地处理自然语言指令，并提供反馈。同时，还介绍了一种用于收集有关该系统的大量文本指令的众包工具，以及该系统具有学习能力的数据集和基线模型。

    May, 2023

  • 在模拟的 3D 世界中的基于场景语言学习

    通过增强和无监督学习，训练具备最少先验知识的机器人在仿真 3D 环境中理解自然语言指令，将语言符号与周围物理环境的感知表示和相关的行动序列联系起来，实现语言含义的压缩和提取，从而揭示出关于语言基于感知概念的本质和潜力。

    Jun, 2017

  • 为基于理解语境的语言模型收集交互式多模态数据集

    本文介绍了利用自然语言任务进行协作的实体代理模型，发展出了可扩展的数据收集工具，并采集了互动立足语言理解的第一个数据集，以便进一步研究机器模拟人类智能适应新任务与环境的能力。

    Nov, 2022

  • 语言（再）建模：走向具身语言理解

    本文提出了基于具有体验认知语言学特征的表征和学习方法的自然语言理解系统架构，旨在利用隐喻推理和模拟的基础来提高自然语言理解系统的效率、可解释性和概括性。

    May, 2020

  • 通过人机对话改善基于场景的自然语言理解

    该论文介绍了一种将自然语言命令翻译成离散机器人动作的方法，并使用澄清对话共同改进语言解析和概念基础。将这个代理程序训练和评估在亚马逊的 Mechanical Turk 平台上的虚拟环境，并在真实环境中将学习到的代理迁移到物理机器人平台进行演示。

    Mar, 2019

  • 通过互相反馈与代理互动，提高基于场景的语言理解能力

    探索交互式人工智能与人类协作的方向，研究在基于 Minecraft 世界的交互式语言理解任务中，人类可以提供哪些类型的辅助帮助，以提高 AI 行为的性能和表现。

    Apr, 2023

  • 构建类人交际智能：一个基于现实经验的视角

    该论文旨在提出一种 “基础” 的视角，启发人工智能的进步，包括 “基于感知 - 动作循环的体现、嵌入、延伸和实践认知” 的研究方向，以及运用逐步发展的技能促进逐步的语言发展、逐渐适应物理和社会环境的智能代理等几个具体的组成部分，以建立人类一样的语言能力。

    Jan, 2022

  • 互动文本游戏的知识增强代理

    该文提出了一种通过注入领域知识的方式来改善基于文本游戏中的智能代理的实现过程，并考虑了多种不同的注入策略，包括知识图谱和输入编码策略的增强，实验结果在 ScienceWorld 文本游戏环境中得到证明。

    May, 2023

  • 用于任务导向的语言基础建模的门控注意力架构

    提出一种基于端到端可训练神经网络架构，用于在 3D 环境中执行自然语言指令的任务导向语言接地问题，并使用带门控的注意力机制来组合图像和文本表示，并学习执行任务的策略。在一个新的基于 3D 游戏引擎的环境中展示了该模型在未见过的指令和环境下的有效性。

    Jun, 2017

  • 基于接地模型指导机器人控制的文本生成

    本论文提出了一种利用大型语言模型进行机器人交互的方法，用于解决理解语义知识和实现机器人任务之间的矛盾问题，其中引入了基于概率过滤的策略来采用语言模型和基于物理环境的模型两者的优势，通过指导解码策略可以实现复杂的机器人长视程任务。

    Mar, 2023