Nov, 2023

XplainLLM：理解 LLM 决策的 QA 解释数据集

PDF
TL;DR大语言模型（LLMs）在自然语言理解任务中取得了显著进展，但是理解它们的决策过程仍然是一个巨大的挑战。本文通过引入一种新的解释数据集，将知识图谱（KGs）与问答（QA）任务以一种新颖的方式集成，为这一过程带来了一定的透明度。通过定量和定性评估，我们展示了我们的数据集提高了 LLMs 的上下文学习能力，并增强了它们的可解释性。我们的工作通过深入理解 LLMs 的决策过程，使其更加透明，从而对研究人员和从业人员更可靠，为可解释 AI 领域做出贡献。
large language modelsexplanation datasetquestion answeringknowledge graphsinterpretability and explainability
发现论文，激发创造
  • WikiWhy：回答和解释因果问题

    通过构建一个包含九千多个问题 - 答案 - 理由三元组的 QA 数据集 “WikiWhy”，确定大型语言模型（LLMs）的推理能力，该数据集的每个理由都是一组支持语句，它们将问题和答案连接起来。 GPT-3 只能在结束的答案和解释条件下达到 38.7％的人类正确率，这为未来的改进留下了很大的空间。

    Oct, 2022

  • QA-GNN: 用语言模型和知识图谱进行问答推理

    该研究提出了一种新模型 QA-GNN，通过关联系统知识图和语言模型，实现对问题与答案之间的共同推理，并取得了在常识和生物医学领域 QA 测试中优于现有模型的表现。

    Apr, 2021

  • LinkQ: 一个辅助 LLM 的可视化界面用于知识图谱问答

    LinkQ 是一个通过自然语言问答来简化知识图谱查询构建的系统，它利用了大型语言模型来构建查询，使用户能够轻松地从知识图谱数据中获取有价值的信息，并通过迭代将开放性问题转化为精确问题，从而进行探索性和确认性数据分析。

    Jun, 2024

  • 学习解释：多跳问答中识别有效推理链的数据集和模型

    本研究引入了三种不同类型的解释数据集，发现基于 BERT 分类器的方法能够显著提高解释质量，同时通过使用广义推理链，使得对某些扰动更具鲁棒性。

    Oct, 2020

  • 反直觉：大型语言模型比我们认为的更能理解知识图谱

    我们通过复杂问题回答作为任务，对比了不同的知识图谱注入方法，旨在探索最佳提供知识图谱给大型语言模型的提示方法，从而增强其对知识图谱的理解能力。与预期相反，我们的分析发现，大型语言模型能够有效处理混乱、噪音和线性化的知识图谱知识，并且表现优于使用设计良好的自然语言文本提示的方法。这一反直觉的发现为未来关于大型语言模型理解结构化知识的研究提供了重要见解。

    Feb, 2024

  • CR-LT-KGQA：一个需要常识推理和长尾知识的知识图谱问答数据集

    在知识图谱问答（KGQA）领域中，我们创建了一个新颖的 KGQA 数据集，支持常识推理并专注于长尾实体，这些实体是大语言模型容易产生错误信息的对象，因此需要借助知识图谱进行准确、可归因的常识推理。这个新数据集具有两个子任务：问题回答和声明验证。它对基于大语言模型的方法产生了显著的幻觉问题，为未来常识 KGQA 研究铺平了道路，以提供关于长尾实体的准确和可信的答案。

    Mar, 2024

  • 利用逻辑编程和语言模型回答知识图谱中的问题

    本文提出了一种利用经典逻辑编程语言来装备大型语言模型（LLMs）的方法，以在知识图谱（KG）上回答自然语言问题，从而提供可解释性解决方案。作者使用 MetaQA 数据集证明了该方法的有效性。

    Mar, 2023

  • 探索然后确定：用于知识图谱推理的 GNN-LLM 协同框架

    此论文提出了一个 Explore-then-Determine（EtD）框架，将 Large Language Models（LLMs）与图神经网络（GNNs）相结合，用于在知识图谱上进行推理。在 Explore 阶段，使用轻量级 GNN 探索有希望的候选项和与问题相关的细粒度知识，而在 Determine 阶段，利用探索的信息构建一个知识增强的多项选择提示，指导冻结的 LLM 确定最终答案。对三个基准 KGQA 数据集进行的大量实验表明，EtD 实现了最先进的性能并生成了忠实的推理结果。

    Jun, 2024

  • 检索 - 改写 - 回答：一种对知识图谱问题回答增强语言模型的框架

    尽管大型语言模型在知识密集型任务上表现出竞争力，但它们仍存在于记忆所有世界知识，尤其是长尾知识方面的局限性。本文研究了用于解决知识图谱问答任务的知识图增强语言模型方法。基于回答敏感的 KG-to-Text 方法，我们提出了一种将 KG 知识转化为对 KGQA 最有信息量的文本化陈述的方法，并基于此方法提出了一种 KG-to-Text 增强的 LLMs 框架来解决 KGQA 任务。在几个 KGQA 基准测试上的实验证明了所提出的 KG-to-Text 增强 LLMs 方法在回答准确性和知识陈述的有用性方面优于先前的 KG 增强 LLMs 方法。

    Sep, 2023

  • 合理的理由下的正确性：基于大型语言模型对可验证的常识知识图谱问题回答的研究

    基于知识图谱问答的常识推理现有方法困扰于虚构问题，本研究提出基于正确原因的常识知识图谱问答方法（R3），通过可验证的推理过程，减少虚构和推理错误，展示其在问题回答、主张验证和偏好匹配等任务中的优越性。

    Mar, 2024