不是所有大型语言模型（LLM）都屈服于 “逆转诅咒”：BERT 和 GPT 模型推理能力的比较研究

Dec, 2023

不是所有大型语言模型（LLM）都屈服于 “逆转诅咒”：BERT 和 GPT 模型推理能力的比较研究

Not All Large Language Models (LLMs) Succumb to the "Reversal Curse": A Comparative Study of Deductive Logical Reasoning in BERT and GPT Models

PDF

Jingye Yang, Da Wu, Kai Wang

TL;DR在这项研究中，我们探讨了大规模语言模型在逻辑推理方面的局限性，发现 ChatGPT 等自回归解码器训练模型在 'A 是 B' 的任务中往往无法学习到 'B 是 A'，从而揭示了它们在逻辑演绎上的失败。我们的研究不仅对双向语言模型 BERT 进行了评估，发现其对逆转诅咒具有免疫能力，还探索了医学知识图谱构建中的复杂演绎推理能力。尽管在处理两个集合（并集 / 交集）的情况下编码器和解码器模型表现良好，但在涉及三个集合的操作（并集、交集的各种组合）时，它们遇到了困难。因此，选择 BERT 和 GPT 模型应该根据任务的具体要求和性质，充分利用它们在双向上下文理解和序列预测方面的优势。

Abstract

The "reversal curse" refers to the scenario where auto-regressive decoder large language models (LLMs), such as ChatGPT, trained on "A is B" fail to learn "B is A", demonstrating a basic failure of logical deduct

reversal curse large language models biomedical knowledge graphs deductive reasoning capabilities encoder and decoder models

发现论文，激发创造

通过训练动力学探索 “逆转诅咒” 的理论理解

通过训练动力学，理论分析自回归模型中的逆转问题，揭示了逆转诅咒发生的核心原因是自回归模型的权重存在不对称性；同时，证明了链式思维在一层变压器中的必要性，并进行了与多层变压器的实验证实。

May, 2024

逆转诅咒：基于 “A 是 B” 训练的 LLMs 无法学习到 “B 是 A

该研究揭示了自回归大型语言模型（LLM）中的泛化失败现象，即逆转诅咒，导致逻辑推断的基本失败。通过证据和评估表明 Reversal Curse 在不同模型大小和家族中都是普遍存在的。

Sep, 2023

将大型语言模型与逻辑编程相结合，从文本中进行稳健和通用的推理

本研究探讨大型语言模型在自然语言推理任务上的表现。通过使用少量样本指导大型语言模型进行任务适应，以及可应用于多个任务的可重用的知识模块，结合逻辑形式输入的答案程序，实现了在多项 NLP 基准测试上的最新性能，包括 bAbI，StepGame，CLUTRR 和 gSCAN，并成功解决了机器人规划任务，而大型语言模型单独无法解决。

Jul, 2023

A & B == B & A：在大型语言模型中触发逻辑推理失败

我们引入了 LogicAsker，它是一种自动方法，全面评估和改进基于命题和谓词逻辑的大型语言模型的逻辑推理能力，并揭示了 LLM 未能学好的逻辑规则。我们评估了 LogicAsker 在 GPT-3、ChatGPT、GPT-4、Bard、Vicuna 和 Guanaco 等主要的大型语言模型上，并展示了 LogicAsker 的测试用例在不同 LLM 中发现逻辑推理错误的比率从 25% 到 94% 不等。此外，LogicAsker 的测试用例可以进一步用于设计上下文学习的演示例子，有效提高 LLM 的逻辑推理能力，如 GPT-4 提高了 10%。据我们所知，我们的工作是首次基于测试结果创建提示来有效提高 LLM 的形式推理能力。所有的代码、数据和结果都将被公开以供复制和未来研究。

Jan, 2024

GLoRE：评估大型语言模型的逻辑推理能力

该篇研究论文主要介绍了大型语言模型的逻辑推理能力评估，提出了一个名为 GLoRE 的评估基准，包含 12 个数据集，通过实验证明了 ChatGPT 和 GPT-4 在逻辑推理方面的强大能力，并提出了改进方法，发布了数据集和评估程序以促进未来的研究。

Oct, 2023

是否陷入中等智能陷阱？逆转诅咒的分析与缓解

大型语言模型中存在的逆转诅咒问题，训练目标的限制以及对整个上下文的了解程度对其影响，因此提出了一种新的训练方法 BICO 来缓解这一问题。

Nov, 2023

作为间接推理器的大型语言模型：自动推理的逆否和矛盾

本文提出了一种新的间接推理（IR）方法，利用逆否命题和矛盾的逻辑来解决事实推理和数学证明等 IR 任务，以加强大型语言模型（LLMs）的推理能力。与传统 DR 方法相比，我们的 IR 方法通过对话模板触发 LLMs 进行基于矛盾推论的 IR 过程来提高推理准确性，并且与 IR 或 DR 单独使用相比，IR 和 DR 结合的方法表现出更高的效果。

Feb, 2024

探索大型语言模型（GPT-4）在二进制逆向工程中的功效

本研究调查了大规模语言模型（LLM），特别是 GPT-4，在二进制反向工程（RE）领域的能力。通过采用结构化的实验方法，我们分析了 LLM 在解释和说明人工编写的和反编译的代码方面的性能。研究分为两个阶段：第一阶段是基本代码解释，第二阶段是更复杂的恶意软件分析。主要发现表明 LLM 在一般代码理解方面能力强，但在详细技术和安全分析方面的有效性有所不同。本研究强调了 LLM 在反向工程中的潜力和当前的局限性，为未来的应用和改进提供了关键见解。此外，我们还研究了实验方法，如评估方法和数据限制，为该领域的任何未来研究活动提供了技术视野。

Jun, 2024

大规模语言模型对于超领域逻辑推理任务的系统评估

大型语言模型在逻辑推理任务中的泛化性和鲁棒性评估及改善的研究。

Oct, 2023

语言模型不抗拒否定：对否定基准测试的分析

本研究针对 LLMs，比如 BERT、GPT-neo、GPT-3 和 InstructGPT 等不同模型，通过实验验证了它们在处理否定句时的局限性，包括对否定句的敏感性不足、无法捕捉词汇语义的否定表述以及在否定条件下推理的失败。

Jun, 2023