本文介绍了一个构建在科学考试标准化问题上的说明语料库，通过手工构建详细的说明，我们提供了半结构化表格数据集和自由文本训练数据集，从而为自动推理提供了可信的人类可读说明。

Feb, 2018

通过评估来自三个自由文本语料库的知识图构建的通过词汇重叠连接的句子的机会聚合质量的9,784个手动注释的判断，我们实证表征了构建或遍历图形的困难，表明语义漂移倾向于很高并且聚合质量很低，高亮最大化有意义地组合信息的情况。

May, 2018

在多次阅读和推理的问题中，通过HotpotQA我们证明单次推理可以解决比之前认为的更多的数据集并且设计了一个基于BERT的单次推理RC模型，达到了67个F1值，在多次推理的错误分析中这些结果提示我们应该更加注重证据在多次推理中的作用，可能甚至转向信息检索风格评估大而多样的证据收集。

Jun, 2019

本研究提供了一种将快速的句法方法与强大的语义方法相结合的模型，以生成多跳解释，并在语言模型微调的过程中对解释链进行了重新排序，从而在可靠性和效率之间找到了平衡。

Dec, 2021

利用多模态多选问题和对应的讲座和解释构建科学问题回答(ScienceQA)基准测试, 证明思路链在语言模型中的实用性, 并通过在GPT-3上实现18.96%的few-shot leap提高上界;证明与人类类似, 从解释中受益, 可以借少训练数据实现相同的性能

Sep, 2022

探究了语言模型在对复合性推理任务中的表现，提出了评估模型的整体解决方案的组成性差异比率，并发现随着模型大小的增加，其单次跳问题回答的性能比多次跳问题更快提高，而提供良好的渐进提示可以缩小这种差距，其中self-ask方法最近进一步提高了精度。

Oct, 2022

提出了一种通过可训练的问题分解器将多跳阅读理解问题分解为多个子问题，再利用序列到序列的阅读理解模型预测答案的学习方法，能够使语言模型更好地理解复杂的、组合性的多跳问题，并在 DROP 数据集的一难子集上比基线模型分别提高了 7.2 / 6.1 绝对 F1 点。

Nov, 2022

利用IBE-Eval框架对大型语言模型（LLMs）的解释进行评估，通过考虑一致性、简洁性、连贯性和不确定性等逻辑和语言特征，从中选择最可信的解释，并成功识别出最佳解释的可能性高达77％（约高于随机27％），同时更高效和可解释。此方法还与人类判断存在显著相关性，为未来发展自动解释验证工具提供了机会。

Feb, 2024

大型语言模型具有出色的能力来执行需要思考过程的任务，本研究引入了一种新颖且可解释的分析方法，探讨了大型语言模型内部的多跳推理过程，揭示了模型通过简单线性变换来建模组合推理问题的预测过程，并且发现网络的中间层生成高度可解释的嵌入，代表了多跳问题的一组潜在中间答案，这些观察结果揭示了平行推理路径的存在，即使模型缺少解决任务所需的知识，这些结果有助于揭示大型语言模型解决推理任务的策略，并提供了人工智能所能产生的思维过程类型的见解，最后还讨论了认知建模的这些结果的含义。

Jun, 2024

本研究针对当前大型语言模型在多跳推理能力方面的不足，特别是它们在利用简化提示绕过推理要求的问题。研究发现，大型语言模型确实可能会通过更加微妙的方式规避这些推理要求，并提出了一种新的多跳推理基准，生成貌似合理但最终错误的推理链，显著影响模型的表现，F1分数最高下降45%。

Sep, 2024