EMNLPOct, 2023

基于大型语言模型的知识驱动推理解释性索证

PDF
TL;DR本研究论文介绍了一种名为 FOLK（First-Order-Logic-Guided Knowledge-Grounded Reasoning）的方法，用大型语言模型（LLMs）进行复杂声明的验证和解释生成，同时不需要基于人工标注的证据。该方法通过将声明转化为由谓词组成的一阶逻辑子句，每个谓词对应需验证的一个子声明，并利用一组知识基础的问答对进行一阶逻辑引导的推理，从而做出真实性预测并生成解释以说明其决策过程，使模型高度解释性。实验结果表明，FOLK 在涵盖各种声明验证挑战的三个数据集上优于强基线模型。
claim verificationmisinformationhuman-annotated dataexplanationsfirst-order-logic-guided knowledge-grounded reasoning
发现论文，激发创造
  • 图上推理：忠实且可解释的大型语言模型推理

    本论文提出了一种理论上基于知识图谱的新方法 —— 图推理（RoG），该方法通过将大型语言模型（LLMs）与知识图谱（KGs）相结合，实现了忠实和可解释的推理，实验结果表明 RoG 在 KG 推理任务上取得了最先进的性能。

    Oct, 2023

  • LOREN: 基于逻辑规范化的可解释事实验证推理

    文章提出了一种基于 LOREN 的 Fact Verification 方法，将整个主张的验证分解成短语级别，以短语真实性作为解释，并根据逻辑规则汇总到最终的裁决中。LOREN 的关键在于将 claim 短语真实性表示为三值潜变量。实验结果表明，LOREN 在 Faithful 和 Interpretability 方面具有竞争力，其资源可在 URL 中找到。

    Dec, 2020

  • FOLIO: 一阶逻辑的自然语言推理

    本文介绍了 FOLIO 数据集，其为具有 FOL 注释的自然语言推理（NL）数据集，可用于推理 NL 的有效性，包括了 NL-FOL 翻译数据集。文中还通过实验验证了中等型语言模型（BERT、RoBERTa）和大型语言模型（GPT-NeoX、OPT、GPT-3、Codex）在 FOL 推理方面的能力以及 GPT-3 和 Codex 用于 NL-FOL 翻译的效果。

    Sep, 2022

  • 大型语言模型是具有自我验证功能的推理器

    提出了一种名为自验证的方法，该方法使用推理链的结论作为条件建立新的样本，并要求大型语言模型重新预测原始条件，从而降低了多任务精度误差。经过大量实验验证，此方法可以使大型语言模型避免出现不正确的推理链干扰，并实现具有竞争力的推理性能，可用于算术和逻辑推理数据集的有限次学习。

    Dec, 2022

  • 基于强化学习的知识图推理用于可解释的事实核查

    基于强化学习的知识图谱推理方法在可解释的事实核查中使用有效，通过提供人机交互方法增加了可信度。

    Oct, 2023

  • 深入探究大型语言模型在逻辑推理中的自我验证能力

    这篇论文研究了大型语言模型在逻辑推理中的自我验证能力，主要关注其准确识别逻辑谬误的能力。通过对包含 232 种谬误的数据集进行实验，发现现有的大型语言模型在准确识别谬误的过程中可能存在困难，并可能不能保证自我验证方法的有效性。论文提出了对未来研究和实际应用自我验证方法的建议。

    Nov, 2023

  • 增强大型语言模型的推理能力：一种基于图形的验证方法

    我们引入了一种基于图的方法来增强大型语言模型的推理能力，通过分析和验证由 LLMs 生成的解决方案，我们的实验结果表明，我们的基于图的验证方法不仅显著提高了 LLMs 的推理能力，而且在提高这些模型的推理性能方面优于现有的验证程序。

    Aug, 2023

  • 基于证据的可解释开放领域事实核查与大型语言模型

    开放领域可解释性事实核查系统在真实世界场景中验证索赔并为核查决策生成因果解释，表现出色的可靠结果及稳定准确的判决，并提供简洁令人信服的实时解释。

    Dec, 2023

  • NL2FOL：将自然语言翻译为一阶逻辑，用于检测逻辑谬误

    通过将自然语言逐步翻译成一阶逻辑，利用满足性模块理论求解器来可靠地检测逻辑谬误，并将输入分类为谬误或有效陈述，这种方法不需要训练数据或微调，并且在数据集上表现良好。

    Apr, 2024

  • 通过 LLM - 符号定理证明验证和改进自然语言解释

    通过将大型语言模型（LLMs）与定理证明器（TPs）相结合，本文研究了自然语言解释的验证和改进，提出了一个名为 Explanation-Refiner 的神经符号框架，用于生成和形式化解释句子，并为自然语言推理（NLI）提供潜在的推理策略。同时，定理证明器用于提供解释逻辑有效性的形式保证，并针对改进提供反馈。展示了如何共同使用 Explanation-Refiner 来评估最先进的 LLMs 的解释推理、自动形式化和错误纠正机制，以及自动提高不同领域中复杂性不同的人工注释解释的质量。

    May, 2024