大型语言模型在各种基于语言的任务中展示了出色的推理能力。然而，在强化下游任务性能的许多推理方法提出之后，仍然存在两个基本问题：推理是否真正支持预测，以及推理质量的可靠性如何。本文提出了一个名为 \textsc {SCORE} 的框架，用于分析大型语言模型的推理能力。具体而言，我们关注自相矛盾的推理，即推理与预测不一致的情况。我们发现，在涉及上下文信息和常识的推理任务中，大型语言模型经常自相矛盾。模型可能会错过证据或使用捷径，从而表现出自相矛盾的行为。我们还使用了一种名为 Point-of-View (POV) 的方法作为诊断工具，从多个角度生成推理以进行进一步分析。我们发现，尽管大型语言模型在单一视角设置中表现良好，但在多视角设置中无法稳定该行为。即使对于正确的预测，推理也可能杂乱不堪且不完整，大型语言模型很容易被引导偏离良好的推理。\textsc {SCORE} 的结果凸显了可信赖的推理所需的缺乏鲁棒性，以及进一步研究建立超越准确性度量的推理的最佳实践的紧迫性。

Nov, 2023

本文提出了一种有效的自动评估度量 RoMe，包括多个自然语言生成核心方面，如语言能力、句法和语义变化，通过基于自我监督神经网络的语义相似性等语言特征，结合树编辑距离和语法可接受性来评估生成句子的整体质量，并对最先进的方法和 RoMe 进行了广泛的鲁棒性分析。实证结果表明，在评估多个 NLG 任务生成的句子方面，RoMe 与人类判断的相关性比最先进的度量更强。

Mar, 2022

通过对推理链和性能的关系的研究，我们引入了一个专门探索推理链与各个领域不同推理任务性能之间关系的基准 R2PE，该基准旨在通过推理步骤来衡量大型语言模型的最终输出的错误性。我们提出了一种过程识别得分（PDS）框架，充分利用多个推理链的信息，相比答案检查基准线，平均提高了 R2PE 下所有 45 个子集的 F1 得分约 5.1％。我们进一步展示了 PDS 在提升开放领域问答准确性方面的功效。

Feb, 2024

利用 GPT-4 和苏格拉底方法，我们提出了一种新的基于 SocREval 的评估框架，能够自动评估当前模型的推理能力，并证明了该框架在消除人工参考链的情况下，显著提高了 GPT-4 的性能，超过了现有的基于参考和无参考的推理评估指标。同时，我们的研究表明这个框架在成本效益、提示编写和示例选择方面都是有效且健壮的。

Sep, 2023

通过有效性和冗余性评估推理质量，我们提出了 ReasonEval 方法，该方法在数学任务中表现优异，并发现提高最终答案准确性并不一定能改善复杂数学问题推理步骤的整体质量。

Apr, 2024

我们提出了 RoCar 方法，利用定义的基本模式随机构建任务图，并基于任务图生成自然语言评估任务，以分别评估 LLMs 的推理和记忆能力。通过任务构建过程的高度随机性，可以确保被测试的 LLMs 没有直接学习评估任务，保证评估方法的公正性。

Jul, 2023

本研究提出了一种基于计算话语理论的生成度量，用于评估图像描述生成模型的语义和语用成功，与最近提出的学习指标相比，在人类评分预测方面表现更好。

Sep, 2021

该论文介绍了 AutoRace 和 LLM Reasoners，分别用于评估和实现不同的推理方法，以解决大型语言模型在生成推理链时所面临的挑战。

Apr, 2024

强大的神经分类器的出现增加了对既需要学习又需要推理的问题的兴趣，该研究论文介绍了一个包含任务评估、概念质量评估和推理快捷方式验证的综合基准套件，旨在系统地评估推理快捷方式对模型的影响。

Jun, 2024

通过评估条件性 V - 信息以及对容易被小型模型利用的敏感特征进行鲁棒性评估，我们提出了一种针对标签泄漏的强韧的自由文本基于理由的评估方法 RORA，它在评估人类编写、合成或模型生成的基于理由时提供了更可靠和准确的度量，尤其是对于标签泄漏展现出了鲁棒性。

Feb, 2024