EMNLPApr, 2022

使用语言模型推理复杂问题中的隐式关系

PDF
TL;DR研究现代语言理解系统面临的一个重要挑战是回答隐含推理问题，本研究通过将推理步骤的推断与执行分离，探究当前模型为何难以应对隐含推理问答任务，并构建 IMPLICITRELATIONS 基准测试，评估 GPT-3 系列模型在任务上的表现，发现这些模型在隐含推理问答任务上表现不佳，但在推断隐含关系方面表现良好。这表明隐含推理问题的挑战不仅在于需要规划推理策略，而且在于在检索和推理相关信息的同时进行推理。
implicit reasoningquestion answeringinferencegpt-3information retrieval
发现论文，激发创造
  • 激发隐式言论关系注释

    对于 ChatGPT 而言，在隐性话语关系分类任务中，使用标准的多项选择问题提示尚不令人满意，且远远不及最先进的有监督方法。本研究通过尝试多种证实的提示技术来提高 ChatGPT 对话语关系的识别能力，但实验结果表明，即使使用复杂的提示工程，推理准确性几乎没有改变，暗示隐性话语关系分类在零样本或少样本情况下尚未得到解决。

    Feb, 2024

  • 利用答案选择之间的自然语言关系进行机器理解

    本文介绍了一种通过利用自然语言关联性来提高机器的阅读理解性能的方法：使用独立的问答系统进行问答任务和自然语言推理系统对选择对之间的关系进行分析，然后通过基于整数线性规划的关系框架进行推理，提高独立问答系统的决策能力。此外，本方法还提出了一个多任务学习模型。

    Dec, 2020

  • 探究大型语言模型如何利用内部知识进行复杂推理

    通过将复杂的现实世界问题分解成图形，将每个问题表示为一个节点，并使用具有解决问题所需背景知识的父节点来研究大型语言模型（LLMs）如何利用知识进行推理。使用分层图形，我们量化了 LLMs 在较简单子问题与复杂问题上性能的前向差异和后向差异。此研究拓展了我们对 LLM 推理的理解，并提出了改进它们解决问题能力的方法。

    Jun, 2024

  • 语言模型是贪心推理器：对思维链的系统形式分析

    本文通过介绍一种新的合成问答数据集 PrOntoQA，旨在通过对 LLMs 的系统探索，该数据集是通过使用一阶逻辑表示的合成世界模型生成的。作者对 InstructGPT 和 GPT-3 进行了分析，表明 LLMs 能够进行正确的逻辑推理，但在方案规划方面存在困​​难。

    Oct, 2022

  • 语义抽象的全局推理问答

    提出了一种利用文本的语义结构来回答多项选择题的新方法，将 QA 转化为一种满足某些全局和局部特性的最优子图的搜索问题，在科学 QA 数据集上表现良好。

    Jun, 2019

  • 图形推理：基于 LLM 的半开放关系提取

    本研究通过利用 GPT-3.5 中的链式思维和图形推理技术，以及详细的例子推理，全面探索了关系抽取，并引入了一种新颖的图形推理方法，将关系抽取拆分为连续的子任务，提高了处理复杂关系数据的精确性和适应性，实验证明了我们方法的有效性。

    Apr, 2024

  • 灵活结构化的知识驱动问答

    本文提出了一种使用语言模型结合知识进行基于知识的问答的方法，其中包括知识构建方法和深度融合机制，可以优雅地提取结构数据和提高模型性能。

    Sep, 2022

  • 大型语言模型的冗余信息推理能力分析

    最近在大规模语言模型 (LLMs) 的研究中取得了令人印象深刻的进展，尤其在推理方面，对于实现人工智能 (AGI) 至关重要。然而，常用的测试基准可能无法完全展现这些模型在现实场景中的推理能力。为了解决这一问题，引入了一种新形式的问答任务，称为 Reasoning with Redundant Information Provided (RRIP)。该研究设计了改进版本的小学数学 8K (GSM-8K) 数据集，它有几个变体，关注冗余信息的不同属性。在传统的问答任务和 RRIP 任务上，评估了两个流行的 LLMs，分别是 LlaMA2-13B-chat 和生成预训练转换器 3.5（GPT-3.5）。研究结果表明，尽管这些模型在标准问答基准中取得了一定的成功，但它们在 RRIP 任务上的表现明显下降。该研究不仅突出了当前 LLMs 在处理冗余信息方面的局限性，还建议未来训练这些模型时应将冗余信息纳入训练数据，以提高在 RRIP 任务上的性能。

    Oct, 2023

  • 从复杂到简单：揭示小型语言模型推理的认知树

    通过使用认知树 (CogTree) 框架，我们揭示了语言模型的认知推理能力，并证明可以使用明显较小的语言模型 (<=7B) 达到与 GPT-3.5 相当的性能水平，而 GPT-3.5 具有更多的参数（175 亿）。

    Nov, 2023

  • 一种可解释的用于多关系问题回答的推理网络

    本论文提出了一种名为可解释推理网络的模型，它采用可解释的、逐跳推理的过程来回答问题，并在两个数据集上取得了最先进的结果。

    Jan, 2018