Mar, 2019

在奇幻文本冒险游戏中学习说话和行动

PDF
TL;DR本文介绍了一个大规模的众包文字冒险游戏作为研究平台，用于研究基于场景的对话。在其中，代理可以感知，表情和行动，同时与其他代理进行对话。我们介绍了在这种情况下训练最先进的生成模型和检索模型的结果。我们展示了除了过去的对话，这些模型还能够有效地使用潜在世界的状态来调整它们的预测，特别是使用本地环境的详细信息，包括位置描述和其中存在的对象（及其可用性）和角色（及其先前的行动），可以更好地预测代理行为和对话。我们分析了在这种设置中成功落地所需的要素，以及每个因素如何与能够成功说话和行动的代理相关。
crowdsourcedtext adventure gamegrounded dialoguegenerative modelsretrieval models
发现论文，激发创造
  • 在模拟的 3D 世界中的基于场景语言学习

    通过增强和无监督学习，训练具备最少先验知识的机器人在仿真 3D 环境中理解自然语言指令，将语言符号与周围物理环境的感知表示和相关的行动序列联系起来，实现语言含义的压缩和提取，从而揭示出关于语言基于感知概念的本质和潜力。

    Jun, 2017

  • 文本建模世界

    该研究提供了一个数据集，用于训练能够构建基于知识图谱的交互叙事世界模型的学习代理。数据集包含了 24198 个富自然语言观察和知识图谱之间的映射，以及多个流派的 27 个游戏中的训练数据和 9 个附加的游戏中包含的 7836 项测试集等内容。此外，研究还提供了基于规则、问答和序列学习方法的基线模型以及数据分析。

    Jun, 2021

  • 在二维环境中的交互式基于语境的语言习得和推理

    基于 2D 迷宫世界，通过虚拟代理学习语言的模型，将语言的生成与理解与其他计算流程分离，从而成功地解决新单词出现的问题。模型可以解释人类可理解的中间输出结果，大幅优于其他五种比较方法。

    Jan, 2018

  • 使用进一步屏蔽语言建模在模拟环境中解决对话引导接地任务

    本研究采用语言建模方法，在 Minecraft 数据集的协作建筑任务中进行多模态任务理解和任务导向对话理解任务，以提高 AI 系统的语感，实现更好的人机互动。实验结果表明，我们的方法具有更大的优势和应用潜力。

    Jun, 2023

  • 互动文本游戏的知识增强代理

    该文提出了一种通过注入领域知识的方式来改善基于文本游戏中的智能代理的实现过程，并考虑了多种不同的注入策略，包括知识图谱和输入编码策略的增强，实验结果在 ScienceWorld 文本游戏环境中得到证明。

    May, 2023

  • 将常识世界模型注入图谱知识

    本文研究在一个开放式世界的文本冒险游戏中生成叙事的设定，使用游戏状态的图形表示来训练模型，可以消耗和输出基于图形的表示和自然语言描述和动作。通过结合众包和模拟游戏玩法构建一组大量的任务和复杂的动作数据集来构建这样的模型，发现通过在图形上下文和目标上训练可以改善动作叙述模型的一致性，即使在测试时没有图形。这在自动指标和人类评估中都得到了证明。我们计划公开代码、新一组任务和最佳表现模型。

    Jan, 2023

  • 通过过程环境生成进行情境对话学习

    通过在生成的课程上训练，我们教会了目标驱动型智能体在位置化环境中交互行为和语言表达。我们通过在大规模众包幻想文本冒险游戏（LIGHT）中学习，增强了 LIGHT 的功能，并学会了生成额外的小说文本世界和任务，以创建一个渐进式递增难度的课程，以训练智能体达到这样的目标。通过从分布的尾部学习，我们测量该课程的难度，根据最初的训练分布中任务的稀有程度评估其难度 —— 更容易的环境是更有可能在未增强数据集中找到的环境。消融研究表明，从分布的尾部学习的这种方法，可以在从未见过的任务上度量的零 - shot 性能方面，产生显着更高的泛化能力。

    Oct, 2021

  • 基于接地模型指导机器人控制的文本生成

    本论文提出了一种利用大型语言模型进行机器人交互的方法，用于解决理解语义知识和实现机器人任务之间的矛盾问题，其中引入了基于概率过滤的策略来采用语言模型和基于物理环境的模型两者的优势，通过指导解码策略可以实现复杂的机器人长视程任务。

    Mar, 2023

  • 社交媒体语境下的对话模型建立方法

    本文介绍了一种通过模仿社交媒体上的非正式互动改善系统的原始会话能力的方法，并利用 Reddit 上的过滤评论数据作为 seq2seq 生成器的额外上下文，以提高开放域对话系统的能力。

    Jun, 2022

  • 以行动示范为导向，而非口头指示：将自然语言融入机器人可用性

    利用预训练技能约束自然语言模型以便进行真实世界的物理执行，从而实现语言驱动机器人。

    Apr, 2022