Mar, 2024

CR-LT-KGQA：一个需要常识推理和长尾知识的知识图谱问答数据集

PDF
TL;DR在知识图谱问答（KGQA）领域中，我们创建了一个新颖的 KGQA 数据集，支持常识推理并专注于长尾实体，这些实体是大语言模型容易产生错误信息的对象，因此需要借助知识图谱进行准确、可归因的常识推理。这个新数据集具有两个子任务：问题回答和声明验证。它对基于大语言模型的方法产生了显著的幻觉问题，为未来常识 KGQA 研究铺平了道路，以提供关于长尾实体的准确和可信的答案。
knowledge graphquestion answeringcommonsense reasoninglong-tail entitieshallucination
发现论文，激发创造
  • 合理的理由下的正确性：基于大型语言模型对可验证的常识知识图谱问题回答的研究

    基于知识图谱问答的常识推理现有方法困扰于虚构问题，本研究提出基于正确原因的常识知识图谱问答方法（R3），通过可验证的推理过程，减少虚构和推理错误，展示其在问题回答、主张验证和偏好匹配等任务中的优越性。

    Mar, 2024

  • 利用逻辑编程和语言模型回答知识图谱中的问题

    本文提出了一种利用经典逻辑编程语言来装备大型语言模型（LLMs）的方法，以在知识图谱（KG）上回答自然语言问题，从而提供可解释性解决方案。作者使用 MetaQA 数据集证明了该方法的有效性。

    Mar, 2023

  • 童话问答：将常识知识图谱融入儿童故事书叙述

    AI 模型通过使用以叙述为基础的问答数据集来提供定制化问答功能，以支持面向儿童教育应用；然而，现有数据集仅包括基于故事内容的问答对，而当教师将故事内容与现实世界的知识（例如常识知识）进行关联时，儿童可以学到更多。我们引入了由儿童教育专家注释的 FairytaleCQA 数据集，用于补充 278 个故事叙述的教育适用的常识知识。该数据集包含 5,868 个问答对，不仅源自故事叙述，而且包含由外部知识图（即 ConceptNet）支持的常识知识。后续实验表明，使用 FairytaleCQA 对较小模型（T5-large）进行微调，可在新的问答对生成任务（QAG）中可靠地胜过更大的提示工程化语言模型（例如 GPT-4）。这一结果表明：1）我们的数据集给现有语言模型带来了新的挑战，2）人类专家的数据注释仍然至关重要，因为他们在儿童教育领域拥有着更多细微的知识，语言模型不知晓。

    Nov, 2023

  • QA-GNN: 用语言模型和知识图谱进行问答推理

    该研究提出了一种新模型 QA-GNN，通过关联系统知识图和语言模型，实现对问题与答案之间的共同推理，并取得了在常识和生物医学领域 QA 测试中优于现有模型的表现。

    Apr, 2021

  • UniKGQA：基于知识图谱的多跳问答统一检索与推理

    UniKGQA 是一种新的多跳知识图谱问答方法，通过统一检索和推理模型架构和参数学习，基于预训练语言模型的语义匹配模块和匹配信息传播模块进行问题与关系的语义匹配，采用共同的预训练任务和检索以及推理定向的微调策略。

    Dec, 2022

  • KagNet: 基于知识的图网络用于常识推理

    该研究提出了一种基于知识图谱的语义推理框架，以解决常识性问题，并通过引入 KagNet 模型和 ConceptNet 外部资源，取得了在常识 QA 数据集上的最佳表现。

    Sep, 2019

  • JointLK：基于语言模型和知识图谱的常识问答联合推理

    本研究提出了一种新型模型 JointLK，通过联合 LM 和 GNN 的推理和动态 KG 的修剪机制解决现有 KG 增强模型在常识问题回答方面的局限性。通过一种新的密集双向注意模块，JointLK 在 LM 和 GNN 之间进行联合推理，并通过多步交互相互融合和更新两种模式的表征。接着，动态修剪模块使用联合推理生成的注意权重递归地修剪不相关的 KG 节点。在 CommonsenseQA 和 OpenBookQA 数据集上对 JointLK 进行评估，展示其对现有 LM 和 LM + KG 模型的改进以及其执行可解释推理的能力。

    Dec, 2021

  • 知识图谱问答的变分推断

    本文介绍了一种基于知识图谱的问答系统，采取了一种新型的深度学习架构和端到端变分学习算法，可以同时处理问题中的噪声和多跳推理，在最新的基准数据集中取得了最优表现。

    Sep, 2017

  • 利用知识图谱为涉及长尾事实的问答任务提供大型语言模型的引导

    大型语言模型在各种自然语言处理任务中表现出色，但在处理需要广泛、现实世界知识的任务，特别是那些涉及长尾实体的任务时，仍然存在困难。为了解决这个问题，本研究分析了不同类型的非参数化知识对语言模型的影响，其中包括文本片段和知识图谱。通过创建一个需要长尾事实知识来回答问题的基准测试工具，我们评估了最先进的语言模型在不同知识环境下的表现。实验结果表明，单独使用语言模型来回答这些问题存在困难，特别是在需要大量长尾知识或丰富知识的情况下。然而，当为语言模型提供非参数化知识时，这些模型的性能显著提高。我们观察到，在大多数情况下，使用知识图谱三元组作为提示的语言模型表现优于使用最先进的检索器的段落提示。此外，虽然同时为语言模型提供知识图谱三元组和文档并不能始终改善知识覆盖率，但可以显著减少生成内容中的幻觉。

    May, 2024

  • 反直觉：大型语言模型比我们认为的更能理解知识图谱

    我们通过复杂问题回答作为任务，对比了不同的知识图谱注入方法，旨在探索最佳提供知识图谱给大型语言模型的提示方法，从而增强其对知识图谱的理解能力。与预期相反，我们的分析发现，大型语言模型能够有效处理混乱、噪音和线性化的知识图谱知识，并且表现优于使用设计良好的自然语言文本提示的方法。这一反直觉的发现为未来关于大型语言模型理解结构化知识的研究提供了重要见解。

    Feb, 2024