COLINGMay, 2024

推理的聚合：一个增强大型语言模型中答案选择的层次框架

PDF
TL;DR最近在 “思维链路提示” 方面取得的进展为大型语言模型在复杂推理任务中带来了重大突破。然而，当前的研究通过对答案频率进行多个推理链路的抽样和集成来增强 LLMs 的推理性能，但这种方法在正确答案占少数的情况下会失败。为了解决这个局限性，我们提出了一种层次化推理聚合框架 AoR（聚合推理），它根据推理链路的评估选择答案，并结合动态抽样，根据任务的复杂性调整推理链路的数量。对一系列复杂推理任务的实验结果表明，AoR 优于其他突出的集成方法。进一步分析表明，与当前方法相比，AoR 不仅适应多种 LLMs，而且达到了更高的性能上限。
发现论文，激发创造
  • 多重思维链元推理问答

    本研究通过 Multi-Chain Reasoning 方法，使用大型语言模型针对多个 chain-of-thought 进行 meta-reasoning，提高多跳问答的性能，并生成高质量的解释，结论基于七个多跳 QA 数据集上的测试表现优异。

    Apr, 2023

  • 语言模型是贪心推理器：对思维链的系统形式分析

    本文通过介绍一种新的合成问答数据集 PrOntoQA，旨在通过对 LLMs 的系统探索，该数据集是通过使用一阶逻辑表示的合成世界模型生成的。作者对 InstructGPT 和 GPT-3 进行了分析，表明 LLMs 能够进行正确的逻辑推理，但在方案规划方面存在困​​难。

    Oct, 2022

  • 链式思维引导的通用验证

    通过探索不同的思维链和验证推理过程中的各个步骤，我们提出了三个模型应遵循的原则（相关性、数学准确性和逻辑一致性），并将这些原则应用于大型语言模型的推理步骤，以提高最终生成结果的准确性。通过使用困惑度作为额外的验证器来引导高质量解决方案的生成，我们在 4 种不同类型的推理任务上评估了我们的方法，涵盖了共计 9 个不同的数据集。实验证明，我们的方法始终优于基准生成，并且在 9 个数据集中的 6 个数据集中，优于最佳的 N 个采样方法。

    Apr, 2024

  • 利用结构化信息进行可解释的多跳问题回答和推理

    构建和利用语义结构的多跳问题回答框架，通过神经模型和连续思维机制提高推理能力，并结合信息抽取和提取的语义结构实现更准确和可解释的问题回答。

    Nov, 2023

  • LLM 推理器：大型语言模型逐步推理的新评估、库和分析

    该论文介绍了 AutoRace 和 LLM Reasoners，分别用于评估和实现不同的推理方法，以解决大型语言模型在生成推理链时所面临的挑战。

    Apr, 2024

  • BeamAggR：多源知识束聚合推理用于多步问题回答

    BeamAggR 是一种用于知识密集型多跳问答的推理框架，它将复杂问题解析成树形结构，并在每个跳跃中探索和优先考虑有前途的答案。通过在多源知识上进行推理，BeamAggR 显著优于目前最先进的方法 8.5％，并且促进了更好的知识协作和答案聚合。

    Jun, 2024

  • 利用推理链进行多跳科学问答

    提出一种无需语料库特定注释的 Chain Guided Retriever-reader（CGR）框架，通过生成由语义图构建的推理链，提高多跳科学问答的可解释性和性能，采用增强学习训练检索器，并设计了适用于本地和全局链信息的 Chain-aware loss 作为培训的远程监督信号。

    Sep, 2021

  • 基于推理链的多跳问答

    该论文提出了一种在多步问题回答中维护显式推理过程的方法。该方法提取一个离散的推理链，并将其提供给一个基于 BERT 的 QA 模型来进行最终答案预测。我们的方法在两个近期提出的大型多跳问题回答数据集 ——WikiHop 和 HotpotQA 上进行了测试，并取得了令人瞩目的成果。

    Oct, 2019

  • 利用链式抽象推理进行高效工具使用

    大型语言模型需要通过链接现实世界的知识来实现与人类期望一致的准确推理。我们提出了一种新的方法，使用抽象链条进行计划，从而使语言模型能够更好地利用工具进行多步推理，并取得更高效的工具使用和更快的推理速度。

    Jan, 2024

  • 回答知识密集型复杂问题的概率思维推理

    大型语言模型（LLMs）能够用链式思维推理回答知识密集型复杂问题，但当模型的参数中缺少所需的知识或不是最新的时，它们往往会产生错误的推理步骤。本文提出一种新方法：概率思维树推理（ProbTree）。在开放领域的情境下，我们利用外部知识检索加强链式推理，通过解决从叶节点到根节点的问题，考虑问题分解和回答的置信度，在推理过程中消除了负面检索问题，并借助层次结构对非叶节点进行全局推理，从而弥补了局部错误。实验证明，我们的方法在三个复杂问答数据集上显著优于最先进方法，证明了概率思维树推理的有效性。

    Nov, 2023