ACLApr, 2022

学习执行行动或询问澄清问题

PDF
TL;DR本文介绍了一种基于 Minecraft 环境的智能建筑代理程序，能够通过对话实现任意建筑物的建造，通过对 Minecraft Corpus 数据集进行扩展，赋予建筑代理程序提出问题的能力，并提出了两个新的任务，联合学习任务和学习提问任务。实验结果表明，该模型具有最先进的表现，并有实质性改进。
collaborative buildingintelligent builder agentminecraft corpus datasetclarification questionsjoint learning
发现论文，激发创造
  • IGLU NLP 挑战解决方案：使用 World States 和文本指令何时以及如何提问

    本文介绍了针对协作构建任务的智能建造代理的开发，旨在通过对话根据用户输入构建结构，并讨论了 NeurIPS 2022 竞赛的 NLP 任务中涉及的两个研究问题：代理何时应该请求澄清和应该提出什么澄清问题，并针对这两个问题进行了两个子任务，即分类任务和排序任务。

    May, 2023

  • 检索增强的代码生成用于情境动作生成：Minecraft 案例研究

    在该研究中，我们调查了使用大型语言模型（LLMs）来预测建造者采取的动作序列，在 Minecraft 协作建筑任务中，建筑师通过指示建造者使用 3D 方块来组装指定结构。借助 LLMs 的上下文学习能力，我们使用少样本启发式技术显著提高了性能，并对性能差距进行了详细分析，以作为未来工作的参考。

    Jun, 2024

  • 共享过程抽象的通信学习

    研究如何使用自然语言来协同解决物理装配问题，结果表明，参与者通过使用更高级别的指称表达逐渐提供越来越简洁的指示，从而达成了共享过程中的概念抽象，这为智能体之间的共同程序化抽象的协调提供了归纳偏见的启示。

    Jun, 2021

  • 利用语言模型在虚拟环境中改善代理间的交互

    通过语言建模，本研究旨在提高 Minecraft 数据集中群体构建任务的任务理解，这些模型集中于基于多模态理解和任务导向对话理解任务，展示了比现有方法大幅改进的实验结果，为未来研究指明了一个有前景的方向。

    Feb, 2024

  • 执行定位协作交互中的指令

    我们研究了一种协作场景，其中用户不仅指示系统完成任务，而且与系统一起行动。我们通过建立一个游戏环境来研究这个场景，并学习将用户的指令映射到系统的动作，以实现误差恢复和多目标指令的显式推理。我们通过新的评估协议和人类用户的交互和在线游戏进行评估，并观察用户如何适应系统的能力。

    Oct, 2019

  • 双体问题：协同视觉任务完成

    本研究探讨了多智能体协作在视觉丰富的环境中的视觉学习问题，实现了在 AI2-THOR 中从像素级开始学习协作任务，并展示了显式和隐式通信对于实现视觉任务的好处。

    Apr, 2019

  • 基于心智模型的情境对话中协同计划获取

    为了解决 AI 与人类之间协作中的问题，本文提出了一种新颖的计算问题，即为智能体预测它们自己和它们的合作者缺失的任务知识，通过丰富的感知和对话历史进行沟通和学习，以实现联合任务的完成，结果表明，预测合作者缺失知识是一种更可行的方法，且明确建模合作者对话移动和心理状态可以提供更好的结果。

    May, 2023

  • 从像素和自然语言指令中学习解决体素建筑任务

    采用预训练语言模型生成行动计划是一种很有前途的研究策略，本文提出了一种新的方法，将语言模型与强化学习相结合，用于在类似 Minecraft 的环境中按照自然语言指令构建对象，在 IGLU 2022 竞赛中形成了强化学习基线。

    Nov, 2022

  • 向协作问答迈进：初步研究

    提出了一种新的具有复杂度的问题，并由多个专家代理协调工作，利用知识图谱和神经网络来解决问题，并说明了解决复杂问题协作结构的先前和后续扩展的必要性。

    Jan, 2022

  • MindCraft：基于心智模型的协作任务情境对话建模

    通过一个更佳的、基于理性的智能体在人类世界的适当整合，能够建立一个在人际合作中可以进行有效协作的方法，此研究提出了在 Minecraft 的虚拟场景下，对人类合作任务探索想象过程的细粒度数据集，并借此数据展示了几个有关于想象过程的任务的计算模型

    Sep, 2021