提出了一种通过可训练的问题分解器将多跳阅读理解问题分解为多个子问题，再利用序列到序列的阅读理解模型预测答案的学习方法，能够使语言模型更好地理解复杂的、组合性的多跳问题，并在 DROP 数据集的一难子集上比基线模型分别提高了 7.2 / 6.1 绝对 F1 点。

Nov, 2022

为了准确评估语言模型在逻辑阅读理解方面的能力，我们提供了一个用于测试关键推理理解的数据集。通过从现有的多项选择逻辑阅读理解数据集中选取问题，我们众包了解释选择或排除答案选项的理由，结果得到了与 943 个主要问题相关联的 3003 个多项选择子问题。对我们的数据集进行的实验表明，最近的大型语言模型（如 InstructGPT）在回答多项选择子问题时面临困难，即使它们能够正确回答主要问题。我们发现，该模型在回答针对主要问题的错误选项而编写的子问题时表现特别糟糕，这意味着该模型对解释为什么应该排除错误选项的能力有限。这些结果表明，我们的数据集鼓励进一步研究语言模型的关键推理能力，重点关注相关的备选项排除过程。

Nov, 2023

通过使用认知树 (CogTree) 框架，我们揭示了语言模型的认知推理能力，并证明可以使用明显较小的语言模型 (<=7B) 达到与 GPT-3.5 相当的性能水平，而 GPT-3.5 具有更多的参数（175 亿）。

Nov, 2023

利用自然语言问句的分解来指导模型学习不同宽度的推理，在构建约 900 种不同推理模式数据的同时提高了典型语言模型在 4 个多步问题问答数据集上的 F1 表现，具有更高的鲁棒性，使得在两个对比数据集上 F1 点数提高了 5-8 个点。

May, 2022

本文研究使用深度学习技术回答多步推理问题的方法，该方法基于自然语言问句生成机器可理解的逻辑形式，使用字符和单词 CNN 同时嵌入逻辑形式和问句，并使用神经评分函数检索问题的最可能逻辑形式，取得 38.7% 的最佳性能。

Feb, 2017

通过使用单个多任务 transformer 模型，我们设计了一个统一的系统，可以迭代地检索支持事实，重新排序它们，并从所有检索的文档中预测答案，从而回答各种需要不同数量的检索步骤的开放领域问题。我们构建了一个新的基准测试 BeerQA，并证明我们的模型在现有基准测试和这个新基准测试上都表现出有竞争力的表现。

Oct, 2020

本文研究了针对数字推理任务的自然语言处理模型表现，并发现现有的评估指标无法有效测量模型在这一任务上的进展。

Sep, 2021

本文提出一种新的框架，用于回答复杂问题，即将复杂问题分解成一系列简单问题，并从这些答案中计算出最终答案。实证结果表明，问题分解将在新数据集上将性能从 20.8 提高到 27.5。

Mar, 2018

提出了一种异构图表示，驱动多步骤的基于问题的图注意力网络，用于完成机器阅读理解中的数字推理任务，具有自然语言理解和算术计算的双重要求。

Sep, 2020

在多次阅读和推理的问题中，通过 HotpotQA 我们证明单次推理可以解决比之前认为的更多的数据集并且设计了一个基于 BERT 的单次推理 RC 模型，达到了 67 个 F1 值，在多次推理的错误分析中这些结果提示我们应该更加注重证据在多次推理中的作用，可能甚至转向信息检索风格评估大而多样的证据收集。

Jun, 2019