将常识世界模型注入图谱知识

Jan, 2023

Infusing Commonsense World Models with Graph Knowledge

Alexander Gurung, Mojtaba Komeili, Arthur Szlam, Jason Weston, Jack Urbanek

TL;DR本文研究在一个开放式世界的文本冒险游戏中生成叙事的设定，使用游戏状态的图形表示来训练模型，可以消耗和输出基于图形的表示和自然语言描述和动作。通过结合众包和模拟游戏玩法构建一组大量的任务和复杂的动作数据集来构建这样的模型，发现通过在图形上下文和目标上训练可以改善动作叙述模型的一致性，即使在测试时没有图形。这在自动指标和人类评估中都得到了证明。我们计划公开代码、新一组任务和最佳表现模型。

Abstract

While language models have become more capable of producing compelling language, we find there are still gaps in maintaining consistency, especially when describing events in a dynamically changing world. We stud

language models consistency narratives text adventure game graph representation

发现论文，激发创造

文本建模世界

该研究提供了一个数据集，用于训练能够构建基于知识图谱的交互叙事世界模型的学习代理。数据集包含了 24198 个富自然语言观察和知识图谱之间的映射，以及多个流派的 27 个游戏中的训练数据和 9 个附加的游戏中包含的 7836 项测试集等内容。此外，研究还提供了基于规则、问答和序列学习方法的基线模型以及数据分析。

Jun, 2021

学习基于知识图谱的文本环境世界模型

该论文聚焦于构建基于文本的游戏环境的世界模型，利用知识图谱和自然语言行动生成模型，提升增强学习智能体在该环境下的效率。通过零样本消融实验，表明该方法显著优于现有的文本世界建模技术及其各自贡献的重要性。

Jun, 2021

在奇幻文本冒险游戏中学习说话和行动

本文介绍了一个大规模的众包文字冒险游戏作为研究平台，用于研究基于场景的对话。在其中，代理可以感知，表情和行动，同时与其他代理进行对话。我们介绍了在这种情况下训练最先进的生成模型和检索模型的结果。我们展示了除了过去的对话，这些模型还能够有效地使用潜在世界的状态来调整它们的预测，特别是使用本地环境的详细信息，包括位置描述和其中存在的对象（及其可用性）和角色（及其先前的行动），可以更好地预测代理行为和对话。我们分析了在这种设置中成功落地所需的要素，以及每个因素如何与能够成功说话和行动的代理相关。

Mar, 2019

让故事活起来：生成交互式小说世界

本文主要介绍了一个基于知识图谱和神经语言模型的交互式小说生成算法，通过提取常识和主题知识来实现语义连贯、有趣、一致的文本世界，实验结果显示该模型优于规则和人工基准。

Jan, 2020

基于知识的文本生成中的对话型大型语言模型的比较分析

通过对四个不同大小的大型语言模型以及不同提示技术的比较和基准实验分析，我们发现对于从语义三元组生成自然语言文本，少量示范、后处理和高效微调技术可以显著提高大型语言模型的能力，尤其对于表现出低零样本性能的较小模型。

Feb, 2024

互动文本游戏的知识增强代理

该文提出了一种通过注入领域知识的方式来改善基于文本游戏中的智能代理的实现过程，并考虑了多种不同的注入策略，包括知识图谱和输入编码策略的增强，实验结果在 ScienceWorld 文本游戏环境中得到证明。

May, 2023

将上下文融入知识图谱以用于常识问答

本文提出一种通过利用外部实体描述来为知识理解提供上下文信息的方法，将其作为预训练语言模型的附加输入，以解决知识图谱融合到语言建模中的问题，并获得了常识 QA 数据集中最先进的结果和 OpenBookQA 中非生成模型中最好的结果。

Dec, 2020

在预训练模型中加入常识知识图谱以进行社交常识任务

该研究提出了两种方法，通过外部常识知识图谱，隐式或显式地融入到预先训练好的自然语言处理模型中，以提高社交智能，这种方法对社交常识推理任务 SocialIQA 的表现在有限和完整的训练数据制度下都表现出良好的效果。

May, 2021

用大型语言模型叙述因果图

使用生成性人工智能从因果图生成文本描述的能力得到了实证调查，发现相对于基于事实的图形，因果文本描述在零 - shot 设置下更难生成，但使用少量示例进行模型训练与通过大型策划数据集进行微调获得类似的性能。

Mar, 2024

EventGround: 基于事件为中心的知识图谱的叙事推理

通过将自由文本与事件中心知识图关联，本研究提出了一个综合框架 EventGround，旨在解决上下文化叙事推理的问题，并通过基于图神经网络和大型语言模型的图推理模型，在取得了最新成果的同时提供可解释性证据。

Mar, 2024