本文研究两个新的数据集对于多跳推理问题，探究了句子分层模型和无标记版本中的伪相关性。结果表明，高绩效模型可能没有像以前想象的那样学到足够的多跳推理。

Apr, 2019

本研究创建了一个名为 2WikiMultiHopQA 的新的多跳问题回答数据集，使用结构化和非结构化数据生成问题 - 答案对，并提供包含推理路径的证据信息以提供预测的全面解释并评估模型推理技能。通过实验，我们证明了我们的数据集对于多跳模型来说具有挑战性，并确保需要使用多跳推理。

Nov, 2020

将现有的多跳数据集从抽取性答案转变为生成性答案，通过添加常识、算术和符号推理等问题层次，我们创建了一个新的多跳数据集 MoreHopQA，以评估五个大型语言模型，并发现相较于以往的数据集，我们的数据集更具挑战性，其中部分问题分解的分析表明虽然模型可以正确回答问题，但只有某个部分实现了完美推理。

Jun, 2024

本文介绍了 IslamicPCQA 数据集，它是第一个基于非结构化信息源用于回答复杂波斯语问题的数据集，旨在提供复杂波斯语问题的解答，需要多一段文章的推理，并包括支持事实和关键句子来提供强大的推理能力。

Apr, 2023

我们提出了一种简单而高效的多跳密集检索方法来回答复杂的开放域问题，该方法在两个多跳数据集 HotpotQA 和多证据 FEVER 上实现了最先进的性能。与以前的工作相反，我们的方法不需要访问任何特定于语料库的信息（如文档间超链接或人工注释实体标记），可以应用于任何非结构化文本语料库。与已发布的 HotpotQA 的最佳准确度相匹配，同时在推理时间上快 10 倍，我们的系统也可以产生更好的效率 - 准确性权衡。

Sep, 2020

本研究提出一种简单却有效的框架，通过联合排名文章和选择句子来解决传统方法在参数和训练效果方面的不足。通过引入一些约束条件来促进文章排名和句子选择之间的相互作用和相关性，该方法在 HotpotQA 数据集上的表现优于之前的系统和基线 28％的精确匹配。

Sep, 2021

我们介绍了 ComplexTempQA，这是一个大规模数据集，包含超过 1 亿个问题 - 答案对，旨在解决时间问题回答中的挑战。ComplexTempQA 在规模和范围上明显超越了现有的基准，如 HOTPOTQA、TORQUE 和 TEQUILA。利用维基百科和维基数据的数据，该数据集涵盖了跨越两个十年的问题，并提供了无与伦比的广度。我们引入了一个独特的分类法，将问题分为属性、比较和计数问题，每种问题都围绕事件、实体和时间段展开。ComplexTempQA 的一个显著特点是其问题的高复杂性，要求有效的回答能力，例如跨时间比较、时间聚合和涉及时间事件排序和实体识别的多跳推理。此外，每个问题都附带有详细的元数据，包括具体的时间范围，可以全面评估和增强大型语言模型的时间推理能力。ComplexTempQA 既可以作为开发复杂 AI 模型的测试基础，也可以作为推进问题回答、信息检索和语言理解研究的基础。数据集和代码可以在以下网址免费获取：this https URL

Jun, 2024

本研究针对 HotpotQA 基准数据集，提出了两种扩展方式来改进基于 GNN 的 HGN 模型，包括在节点之间引入新的边缘，以及在图传播步骤中，扩展了一种名为 GATH 的嵌套图注意力机制，并且实验证明了这些改变能够有效提升模型的效率和能力。

Jan, 2023

HybridQA 是一个基于异构信息的新的大规模问答数据集，通过对表格和文本信息的聚合完成问答，结果表明使用异构信息的混合模型可以获得高于基准模型的精确度。

Apr, 2020

本论文针对 HotpotQA 数据集中的多跳问题回答过程中存在 reasoning shortcuts 的问题，通过构建对抗性文档解决了该问题。同时，提出使用控制单元指导模型的多跳推理，使得 2-hop 模型在 1-hop baseline 的基础上获得更高的准确性。结果表明，该训练方式对于构建更加有效的组合推理模型非常有帮助。

Jun, 2019