Nov, 2022

为基于理解语境的语言模型收集交互式多模态数据集

PDF
TL;DR本文介绍了利用自然语言任务进行协作的实体代理模型，发展出了可扩展的数据收集工具，并采集了互动立足语言理解的第一个数据集，以便进一步研究机器模拟人类智能适应新任务与环境的能力。
发现论文，激发创造
  • 通过交互式基于语境的语言指导重新定义具有代表性的代理人能力，改变以人为中心的 AI 协作

    本文介绍了一种交互式的 “体现代理” 系统，它具有适应性，能够有效地处理自然语言指令，并提供反馈。同时，还介绍了一种用于收集有关该系统的大量文本指令的众包工具，以及该系统具有学习能力的数据集和基线模型。

    May, 2023

  • 通过互相反馈与代理互动，提高基于场景的语言理解能力

    探索交互式人工智能与人类协作的方向，研究在基于 Minecraft 世界的交互式语言理解任务中，人类可以提供哪些类型的辅助帮助，以提高 AI 行为的性能和表现。

    Apr, 2023

  • 协作环境中的交互式基于场景的语言理解: IGLU 2021

    IGLU 竞赛致力于解决在协作环境下，如何建立可以通过自然语言指令学习解决问题的交互式代理的问题。

    May, 2022

  • 2022 年 IGLU：NeurIPS 2022 的协作环境中的交互式语境理解

    该研究提出了 IGLU 来解决如何让交互式实体智能在协作环境中学习自然语言指令并解决任务的问题，其关键词包括互动式语言理解、实体智能、自然语言理解和生成、强化学习和人类环评。

    May, 2022

  • 使具有身体的代理程序理解人类指令

    提出了一种名为 tagE 的新系统，采用神经网络模型来从复杂的自然语言任务说明中提取一系列任务和相应的参数，并将这些任务映射到机器人的技能集合中，参数与环境中的对象关联。实验证明这种方法胜过坚实的基线模型。

    Oct, 2023

  • 使用进一步屏蔽语言建模在模拟环境中解决对话引导接地任务

    本研究采用语言建模方法，在 Minecraft 数据集的协作建筑任务中进行多模态任务理解和任务导向对话理解任务，以提高 AI 系统的语感，实现更好的人机互动。实验结果表明，我们的方法具有更大的优势和应用潜力。

    Jun, 2023

  • 通过人机对话改善基于场景的自然语言理解

    该论文介绍了一种将自然语言命令翻译成离散机器人动作的方法，并使用澄清对话共同改进语言解析和概念基础。将这个代理程序训练和评估在亚马逊的 Mechanical Turk 平台上的虚拟环境，并在真实环境中将学习到的代理迁移到物理机器人平台进行演示。

    Mar, 2019

  • 在模拟的 3D 世界中的基于场景语言学习

    通过增强和无监督学习，训练具备最少先验知识的机器人在仿真 3D 环境中理解自然语言指令，将语言符号与周围物理环境的感知表示和相关的行动序列联系起来，实现语言含义的压缩和提取，从而揭示出关于语言基于感知概念的本质和潜力。

    Jun, 2017

  • 在二维环境中的交互式基于语境的语言习得和推理

    基于 2D 迷宫世界，通过虚拟代理学习语言的模型，将语言的生成与理解与其他计算流程分离，从而成功地解决新单词出现的问题。模型可以解释人类可理解的中间输出结果，大幅优于其他五种比较方法。

    Jan, 2018

  • 利用语言模型在虚拟环境中改善代理间的交互

    通过语言建模，本研究旨在提高 Minecraft 数据集中群体构建任务的任务理解，这些模型集中于基于多模态理解和任务导向对话理解任务，展示了比现有方法大幅改进的实验结果，为未来研究指明了一个有前景的方向。

    Feb, 2024