Jun, 2024

MoreHopQA: 超越多跳推理

PDF
TL;DR将现有的多跳数据集从抽取性答案转变为生成性答案，通过添加常识、算术和符号推理等问题层次，我们创建了一个新的多跳数据集 MoreHopQA，以评估五个大型语言模型，并发现相较于以往的数据集，我们的数据集更具挑战性，其中部分问题分解的分析表明虽然模型可以正确回答问题，但只有某个部分实现了完美推理。
multi-hop datasetgenerative answersreasoning typeslarge language modelsquestion decomposition
发现论文，激发创造
  • 多跳推理数据集设计选择的理解

    本文研究两个新的数据集对于多跳推理问题，探究了句子分层模型和无标记版本中的伪相关性。结果表明，高绩效模型可能没有像以前想象的那样学到足够的多跳推理。

    Apr, 2019

  • 构建用于全面评估推理步骤的多跳问答数据集

    本研究创建了一个名为 2WikiMultiHopQA 的新的多跳问题回答数据集，使用结构化和非结构化数据生成问题 - 答案对，并提供包含推理路径的证据信息以提供预测的全面解释并评估模型推理技能。通过实验，我们证明了我们的数据集对于多跳模型来说具有挑战性，并确保需要使用多跳推理。

    Nov, 2020

  • MuSiQue: 通过单跳问题构建实现多跳问题

    通过底层方法选择单跳问题对，构建了 MuSiQue-Ans 数据集，包含 2-4 跳问题，比现有数据集更具挑战性，难以通过断开推理进行作弊，旨在帮助自然语言处理社区开发真正具备多跳推理能力的模型。

    Aug, 2021

  • 理解并改善生成式问答中的零样本多跳推理

    本文研究发现，生成式问答模型的多跳推理能力非常有限，但可以通过训练拼接单跳问题或逻辑形式的方式进行改进。

    Oct, 2022

  • 生成式多跳问答任务的常识推理

    通过提出一种选择基于概念网络的常识信息和一种选择性门控的多头注意力机制，本文提出了一种生成式模型，用于解决阅读理解 QA 任务中的多跳关系抽取问题，并在 NarrativeQA 数据集上创造新的最先进结果。

    Sep, 2018

  • 多跳问答与生成综述

    本文提出了一个多跳问题回答（Multi-Hop QA）的具体与形式化定义，并对现有的 Multi-Hop QA 框架进行了组织和总结，同时介绍了创建多跳问题回答数据集的最佳方法，以系统全面地介绍这个有趣而具有挑战性的任务。

    Apr, 2022

  • 避免推理捷径： 多跳问答的对抗评估、训练和模型开发

    本论文针对 HotpotQA 数据集中的多跳问题回答过程中存在 reasoning shortcuts 的问题，通过构建对抗性文档解决了该问题。同时，提出使用控制单元指导模型的多跳推理，使得 2-hop 模型在 1-hop baseline 的基础上获得更高的准确性。结果表明，该训练方式对于构建更加有效的组合推理模型非常有帮助。

    Jun, 2019

  • MRKE: 基于知识编辑的 LLMs 的多跳推理评估

    利用修改的 HotpotQA 数据集为基础，我们引入了第一个基于新的无与伦比的知识的 LLM 多跳问答评估基准，并注释和评估了形式为子问题和中间答案的推理链，以此促进对 LLM 在多跳问答任务上的可信评估的发展。

    Feb, 2024

  • 通过多跳问答数据集和伪指导调整实现大型语言模型的鲁棒性时序推理

    本文提出了一个复杂的时间问答（QA）数据集 Complex-TR，重点关注多答案和多跳的时间推理，并提出了一种新颖的数据增强策略来改善大型语言模型（LLMs）的复杂时间推理能力和鲁棒性。实验证明，我们的方法能够显著提高 LLMs 在时间 QA 基准测试上的性能。

    Nov, 2023

  • 寻址再问：透明的逐步推理用于多跳问答

    本文提出了一个解释性逐步推理框架，将单跳支持句子识别和单跳问题生成结合起来，并利用当前跳的推理来推导出最终结果。我们使用一个统一的读者模型进行中间跳推理和最终跳推理，并采用联合优化来实现更精确和稳健的多跳推理，取得了良好的实验效果。

    Aug, 2022