Oct, 2022

ReasonChainQA：基于文本的复杂问答解答，具有可解释的证明链

PDF
TL;DR提出了一个新的具有说明和明确证据链的质量高的文本证据复杂问题回答基准 ReasonChainQA，包含具有不同深度的多跳问题，12 种推理类型和 78 种关系。
reasoningquestion answeringnatural language databaseevidence chainsmulti-hop questions
发现论文，激发创造
  • 基于推理链的多跳问答

    该论文提出了一种在多步问题回答中维护显式推理过程的方法。该方法提取一个离散的推理链，并将其提供给一个基于 BERT 的 QA 模型来进行最终答案预测。我们的方法在两个近期提出的大型多跳问题回答数据集 ——WikiHop 和 HotpotQA 上进行了测试，并取得了令人瞩目的成果。

    Oct, 2019

  • 学习解释：多跳问答中识别有效推理链的数据集和模型

    本研究引入了三种不同类型的解释数据集，发现基于 BERT 分类器的方法能够显著提高解释质量，同时通过使用广义推理链，使得对某些扰动更具鲁棒性。

    Oct, 2020

  • 利用推理链进行多跳科学问答

    提出一种无需语料库特定注释的 Chain Guided Retriever-reader（CGR）框架，通过生成由语义图构建的推理链，提高多跳科学问答的可解释性和性能，采用增强学习训练检索器，并设计了适用于本地和全局链信息的 Chain-aware loss 作为培训的远程监督信号。

    Sep, 2021

  • Entailer: 用真实和忠实的推理链回答问题

    本研究旨在设计一个问题回答系统，通过系统的推理链条，向外呈现模型回答问题的内部思路过程，并通过回答问题的命题来验证模型是否真正信奉这些命题。本文所提出的系统能够产生多步，忠实和真实的推理链条，能够使人更好地理解模型的判断和思维方式，为纠正和修正模型误解提供新思路。

    Oct, 2022

  • 文本数据库中的图遍历检索和推理

    本文提出了 Graph-Hop 多链式及多跳式检索和推理范式，建立了新的 Benchmark ReasonGraphQA 来支持可解释的推理，论证其在推理多样性和规模方面的优势，并在现有证据检索和推理模型上进行了彻底的评估。

    May, 2023

  • 多重思维链元推理问答

    本研究通过 Multi-Chain Reasoning 方法，使用大型语言模型针对多个 chain-of-thought 进行 meta-reasoning，提高多跳问答的性能，并生成高质量的解释，结论基于七个多跳 QA 数据集上的测试表现优异。

    Apr, 2023

  • 学会阐述：基于思维链的多模态推理用于科学问答

    利用多模态多选问题和对应的讲座和解释构建科学问题回答 (ScienceQA) 基准测试，证明思路链在语言模型中的实用性，并通过在 GPT-3 上实现 18.96% 的 few-shot leap 提高上界；证明与人类类似，从解释中受益，可以借少训练数据实现相同的性能

    Sep, 2022

  • 多跳阅读器是否梦想推理链？

    本文系统分析了多篇文章 QA 任务的多跳推理能力，在提供额外证据段落的情况下，对现有面向多跳阅读的方法进行了改进，并提出了基于匹配的方法，表明进行显示多跳推理可以提高 QA 任务的执行效果，推荐开发更好的推理模型。

    Oct, 2019

  • 通过异构知识的推理链进行开放域问答

    提出一种新颖的开放领域问答框架，使用中介模块对异构知识源上的单跳 / 多跳问题进行回答。在预训练语言模型的基础上，通过将检索到的证据与其相关的全局上下文链接到图中，并将它们组织成候选证据链，实现了竞争性的性能。在两个 ODQA 数据集 OTT-QA 和 NQ 上，我们的模型显著优于之前最先进的方法，在 OTT-QA 上具有 47.3 的精确匹配分数（相对增益 45%）。

    Oct, 2022

  • 思维链的强弱取决于最薄弱一环：推理链验证器的基准评估

    我们引入了 Reveal：推理验证评估，这是一个新的数据集，用于在开放域问题回答设置中评估复杂的链式推理的自动验证器，包括语言模型的答案中每个推理步骤的相关性、证据归因和逻辑正确性的全面标签。

    Feb, 2024