Jun, 2023

使用进一步屏蔽语言建模在模拟环境中解决对话引导接地任务

PDF
TL;DR本研究采用语言建模方法，在 Minecraft 数据集的协作建筑任务中进行多模态任务理解和任务导向对话理解任务，以提高 AI 系统的语感，实现更好的人机互动。实验结果表明，我们的方法具有更大的优势和应用潜力。
ai systemscommunication skillslanguage modelingtask understandingmulti-modal
发现论文，激发创造
  • 利用语言模型在虚拟环境中改善代理间的交互

    通过语言建模，本研究旨在提高 Minecraft 数据集中群体构建任务的任务理解，这些模型集中于基于多模态理解和任务导向对话理解任务，展示了比现有方法大幅改进的实验结果，为未来研究指明了一个有前景的方向。

    Feb, 2024

  • 为基于理解语境的语言模型收集交互式多模态数据集

    本文介绍了利用自然语言任务进行协作的实体代理模型，发展出了可扩展的数据收集工具，并采集了互动立足语言理解的第一个数据集，以便进一步研究机器模拟人类智能适应新任务与环境的能力。

    Nov, 2022

  • 在奇幻文本冒险游戏中学习说话和行动

    本文介绍了一个大规模的众包文字冒险游戏作为研究平台，用于研究基于场景的对话。在其中，代理可以感知，表情和行动，同时与其他代理进行对话。我们介绍了在这种情况下训练最先进的生成模型和检索模型的结果。我们展示了除了过去的对话，这些模型还能够有效地使用潜在世界的状态来调整它们的预测，特别是使用本地环境的详细信息，包括位置描述和其中存在的对象（及其可用性）和角色（及其先前的行动），可以更好地预测代理行为和对话。我们分析了在这种设置中成功落地所需的要素，以及每个因素如何与能够成功说话和行动的代理相关。

    Mar, 2019

  • 通过互相反馈与代理互动，提高基于场景的语言理解能力

    探索交互式人工智能与人类协作的方向，研究在基于 Minecraft 世界的交互式语言理解任务中，人类可以提供哪些类型的辅助帮助，以提高 AI 行为的性能和表现。

    Apr, 2023

  • 在模拟的 3D 世界中的基于场景语言学习

    通过增强和无监督学习，训练具备最少先验知识的机器人在仿真 3D 环境中理解自然语言指令，将语言符号与周围物理环境的感知表示和相关的行动序列联系起来，实现语言含义的压缩和提取，从而揭示出关于语言基于感知概念的本质和潜力。

    Jun, 2017

  • 走向利用大型语言模型实现对会话基础的理解

    这篇实验研究分析了信息寻求对话中大型语言模型在分类明示或隐含对话转换以及预测对接知识元素方面的能力，并揭示了大型语言模型在这两个任务中遇到的挑战，讨论了通过流程架构和知识库改进大型语言模型的对话接地理解的研究工作，在对话中处理对接知识的复杂性方面，旨在开发更加有效的对话系统。

    Jun, 2024

  • 通过交互式基于语境的语言指导重新定义具有代表性的代理人能力，改变以人为中心的 AI 协作

    本文介绍了一种交互式的 “体现代理” 系统，它具有适应性，能够有效地处理自然语言指令，并提供反馈。同时，还介绍了一种用于收集有关该系统的大量文本指令的众包工具，以及该系统具有学习能力的数据集和基线模型。

    May, 2023

  • 面向口语对话的任务导向对话建模的通用模型

    本文介绍了我们在 DSTC-10 上构建对话模型的方法。为缩小口头和书面数据之间的差距，我们采用了大量数据扩增策略，包括人工误差注入和文本转语音转换。我们改良了预训练语言模型，并对每个子任务应用了集成算法，以训练稳健的口头对话模型。我们的方法在官方评估中排名第三，在最终的正式人类评估中排名第二。

    Mar, 2022

  • MindCraft：基于心智模型的协作任务情境对话建模

    通过一个更佳的、基于理性的智能体在人类世界的适当整合，能够建立一个在人际合作中可以进行有效协作的方法，此研究提出了在 Minecraft 的虚拟场景下，对人类合作任务探索想象过程的细粒度数据集，并借此数据展示了几个有关于想象过程的任务的计算模型

    Sep, 2021

  • 使用大型语言模型进行任务导向对话评估的用户模拟

    为了推动自动化任务导向对话系统的评估，本研究提出了一种基于预训练语言模型的新型用户模拟器，并通过上下文学习来生成具有鲁棒性和语言多样性的输出，以模拟人类对话行为。通过与现有对话系统交互，并收集人机交互数据集，验证了该用户模拟器在单一意图对话目标方面的表现与人类相似。

    Sep, 2023