逆向训练护理逆转诅咒

Mar, 2024

Reverse Training to Nurse the Reversal Curse

Olga Golovneva, Zeyuan Allen-Zhu, Jason Weston, Sainbayar Sukhbaatar

TL;DR大型语言模型（LLMs）在 “A 具有特征 B” 的训练中无法推广到 “B 是 A 的特征”，这称为反转诅咒。本研究提出了一种替代训练方案，称为反向训练，通过将训练字符串进行反转并保留（即不反转）选择的子字符串（如实体）来同时以正向和反向方式训练 LLM，以加倍可用令牌的数量。我们证明，数据匹配的反向训练模型在标准任务上提供了优越的性能，而计算匹配的反向训练模型在反转任务上提供了远超过标准模型的性能，有助于解决反转诅咒问题。

Abstract

large language models (LLMs) have a surprising failure: when trained on "A has a feature B", they do not generalize to "B is a feature of A", which is termed the reversal curse. Even when training with trillions

large language models reversal curse reverse training data-matched reverse-trained models reversal curse issue

发现论文，激发创造

逆转诅咒：基于 “A 是 B” 训练的 LLMs 无法学习到 “B 是 A

该研究揭示了自回归大型语言模型（LLM）中的泛化失败现象，即逆转诅咒，导致逻辑推断的基本失败。通过证据和评估表明 Reversal Curse 在不同模型大小和家族中都是普遍存在的。

Sep, 2023

是否陷入中等智能陷阱？逆转诅咒的分析与缓解

大型语言模型中存在的逆转诅咒问题，训练目标的限制以及对整个上下文的了解程度对其影响，因此提出了一种新的训练方法 BICO 来缓解这一问题。

Nov, 2023

通过训练动力学探索 “逆转诅咒” 的理论理解

通过训练动力学，理论分析自回归模型中的逆转问题，揭示了逆转诅咒发生的核心原因是自回归模型的权重存在不对称性；同时，证明了链式思维在一层变压器中的必要性，并进行了与多层变压器的实验证实。

May, 2024

通过语义感知的排列训练减轻逆序诅咒

通过语义感知排列训练（SPT）方法，我们成功解决了因句子结构差异导致的逆转诅咒问题，改进了因果语言模型的性能，并推进了当前研究的发展。

Mar, 2024

因子化诅咒：预测逆转诅咒及更多的标记

最好的语言模型仍然在幻影现象方面存在困难：生成的事实不正确，这妨碍了它们在训练期间可靠地检索到的信息；我们将逆序诅咒重新界定为因子化诅咒 - 模型在不同的因子化下学习相同联合分布的失败；通过一系列的受控实验，包括我们引入的模拟知识密集的微调任务的 WikiReversal，我们发现因子化诅咒是流行大型语言模型中使用的下一个标记预测目标的固有失败；此外，我们证明可靠的信息检索无法通过规模、反向标记甚至朴素的双向注意力训练来解决；因此，在专门数据上进行微调的各种方法在下游任务上必然会产生不同的结果，除非模型已经看到正确的令牌序列；在五个不同复杂程度的任务中，我们的结果揭示了一个有希望的前进路径：因子化不可知目标可以显著减轻逆序诅咒，并暗示了改进的知识存储和计划能力。

Jun, 2024

透过双向语言模型编辑解除逆转咒语

本文研究双向语言模型编辑，旨在提供严格的模型编辑评估，以评估编辑后的语言模型是否能双向回忆编辑的知识。引入了一种新的可逆性评估度量，并构建了一个名为 Bidirectional Assessment for Knowledge Editing (BAKE) 的基准来评估编辑后模型在回忆编辑的知识反向方向上的可逆性。我们惊奇地发现，虽然当前的编辑方法和语言模型在编辑方向上能有效地回忆编辑的事实，但在反向方向上评估时存在严重不足。为了缓解这种逆转的问题，提出了一种名为 Bidirectionally Inversible Relationship moDeling (BIRD) 的方法。设计了一组编辑目标，将主体和客体之间的双向关系纳入更新后的模型权重中。实验证明，BIRD 通过问答和判断提高了四个不同规模的代表性语言模型的性能。

Oct, 2023

面向可解释和语言无关的 LLMs：大规模语言符号逆向工程

本文讨论了大规模语言模型的局限性和其基于深度神经网络的内在架构所造成的影响，提出了使用符号表示和基于底层反向工程重构语言的方法来弥补这些局限性。

May, 2023

不是所有大型语言模型（LLM）都屈服于 “逆转诅咒”：BERT 和 GPT 模型推理能力的比较研究

在这项研究中，我们探讨了大规模语言模型在逻辑推理方面的局限性，发现 ChatGPT 等自回归解码器训练模型在 'A 是 B' 的任务中往往无法学习到 'B 是 A'，从而揭示了它们在逻辑演绎上的失败。我们的研究不仅对双向语言模型 BERT 进行了评估，发现其对逆转诅咒具有免疫能力，还探索了医学知识图谱构建中的复杂演绎推理能力。尽管在处理两个集合（并集 / 交集）的情况下编码器和解码器模型表现良好，但在涉及三个集合的操作（并集、交集的各种组合）时，它们遇到了困难。因此，选择 BERT 和 GPT 模型应该根据任务的具体要求和性质，充分利用它们在双向上下文理解和序列预测方面的优势。

Dec, 2023

大型语言模型与反图灵测试

大型语言模型（LLMs）是自我监督的预训练模型，可适应广泛的自然语言任务，但其是否理解其所说的话或表现出智能受到广泛争议。提出了一个新的可能性，即它们表现出的智能实际上是镜像了面试官的智能，它可能更多地揭示了面试者的智能和信仰而不是 LLMs 的智能。该论文提出了七种启发于大脑系统的方法，以实现人工智能的普遍自主权。

Jul, 2022

反比缩放：大不一定好

通过运行一个公共比赛，我们在 11 个数据集上提供了逆比例缩放的实证证据，并确定了导致逆比例缩放的四个潜在原因。尽管大型语言模型在整体损失方面具有可预测的规律，但我们的结果表明，模型规模增加本身对某些任务可能不会产生进展，因此对于训练语言模型的数据和目标需要更加谨慎的思考。

Jun, 2023