Oct, 2022

ThinkSum：使用大型语言模型进行集合上的概率推理

PDF
TL;DR提出了一个两阶段概率推理模型，ThinkSum，用于大语言模型的推理和理解。ThinkSum 能够对多个对象或事实进行结构化推理和引用，并在 BIG-bench 评估任务中取得了改进成果。
large language modelsprobabilistic inferencethinksumlogical deductionsstructured knowledge
发现论文，激发创造
  • 使用大型语言模型进行可解释的逻辑推理的 Selection-Inference 方法

    本文对大型语言模型在逻辑推理方面进行了全面评估，提出了一种基于选择和推理的框架，可以在不进行微调的情况下改进性能，并伴随着因果自然语言推理过程的答案。

    May, 2022

  • TriSum: 从大型语言模型中学习结构化理由的文摘能力

    通过 TriSum 框架，我们将大型语言模型的文本摘要能力提炼为一个紧凑且本地化的模型，以应对资源有限和注重隐私的环境。通过对各项任务进行演化式学习，我们的方法在各个评估基准上提升了本地化模型的性能，并提供了摘要的合理解释。

    Mar, 2024

  • 语言模型是贪心推理器：对思维链的系统形式分析

    本文通过介绍一种新的合成问答数据集 PrOntoQA，旨在通过对 LLMs 的系统探索，该数据集是通过使用一阶逻辑表示的合成世界模型生成的。作者对 InstructGPT 和 GPT-3 进行了分析，表明 LLMs 能够进行正确的逻辑推理，但在方案规划方面存在困​​难。

    Oct, 2022

  • 大型语言模型是零样本推理器

    该研究发现预训练的大型语言模型可以成为良好的零样本推理器，提出了一种零样本的 CoT 方法，将其用于多种复杂的推理任务并取得了显著的性能提升。

    May, 2022

  • 大型语言模型的符号能力研究

    研究证实，大型语言模型在处理基于符号的任务时面临符号复杂度上升的挑战，强调了需要专门的训练、内存和架构调整以提高它们在符号推理任务中的熟练度。

    May, 2024

  • 使用大型语言模型评估摘要的事实一致性

    本研究探索采用大型语言模型 (DLM) 来评估摘要的事实一致性，并通过对 GPT 模型系列和 Flan-T5 等不同类型的 DLM 进行分析，以及对多种提示方法进行研究，最终证明了直接针对 DLM 的提示方法在各项测试中均优于当前最先进的摘要事实性系统。

    May, 2023

  • 链式思维引导的通用验证

    通过探索不同的思维链和验证推理过程中的各个步骤，我们提出了三个模型应遵循的原则（相关性、数学准确性和逻辑一致性），并将这些原则应用于大型语言模型的推理步骤，以提高最终生成结果的准确性。通过使用困惑度作为额外的验证器来引导高质量解决方案的生成，我们在 4 种不同类型的推理任务上评估了我们的方法，涵盖了共计 9 个不同的数据集。实验证明，我们的方法始终优于基准生成，并且在 9 个数据集中的 6 个数据集中，优于最佳的 N 个采样方法。

    Apr, 2024

  • 大型语言模型的逻辑推理能力系统评估

    最近发展的大型语言模型 (LLMs) 在各种语言理解任务上表现出色，但它们真正能够对自然语言进行 “推理” 吗？本文综合评估了 LLMS 在涵盖命题逻辑、一阶逻辑和非单调逻辑的 25 种不同推理模式上的逻辑推理能力，并引入了 LogicBench，一个关注单个推理规则使用的自然语言问答数据集，通过使用一系列的连贯思维提示与 GPT-4、ChatGPT、Gemini、Llama-2 和 Mistral 等多个 LLMS 进行详细分析。实验结果表明，现有的 LLMS 在 LogicBench 上表现不佳，尤其在涉及复杂推理和否定的情况下遇到困难，并有时忽视推理所需的上下文信息以得出正确结论。我们认为我们的工作和发现将有助于未来评估和提升 LLMS 的逻辑推理能力。

    Apr, 2024

  • 大型语言模型是少量样本的表格推理器

    本文旨在研究大型语言模型在表格相关任务中的能力，发现当结合 “思维链” 提示时，大型语言模型可以在只有 1 个样本的情况下达到与某些 SotA 模型相当的表现。

    Oct, 2022

  • 基于心理学的思路链引导大型语言模型理解隐喻

    本文使用思维导向提示将概率模型结构引入了大型语言模型的上下文学习中，以推断潜在变量并选择合适的隐喻释义，从而改进了模型的模仿能力。

    Sep, 2022