Jun, 2024

因子化诅咒：预测逆转诅咒及更多的标记

PDF
TL;DR最好的语言模型仍然在幻影现象方面存在困难：生成的事实不正确，这妨碍了它们在训练期间可靠地检索到的信息；我们将逆序诅咒重新界定为因子化诅咒 - 模型在不同的因子化下学习相同联合分布的失败；通过一系列的受控实验，包括我们引入的模拟知识密集的微调任务的 WikiReversal，我们发现因子化诅咒是流行大型语言模型中使用的下一个标记预测目标的固有失败；此外，我们证明可靠的信息检索无法通过规模、反向标记甚至朴素的双向注意力训练来解决；因此，在专门数据上进行微调的各种方法在下游任务上必然会产生不同的结果，除非模型已经看到正确的令牌序列；在五个不同复杂程度的任务中，我们的结果揭示了一个有希望的前进路径：因子化不可知目标可以显著减轻逆序诅咒，并暗示了改进的知识存储和计划能力。
hallucinationsreversal cursefactorization curseinformation retrievalfinetuning
发现论文，激发创造
  • 是否陷入中等智能陷阱？逆转诅咒的分析与缓解

    大型语言模型中存在的逆转诅咒问题，训练目标的限制以及对整个上下文的了解程度对其影响，因此提出了一种新的训练方法 BICO 来缓解这一问题。

    Nov, 2023

  • 通过训练动力学探索 “逆转诅咒” 的理论理解

    通过训练动力学，理论分析自回归模型中的逆转问题，揭示了逆转诅咒发生的核心原因是自回归模型的权重存在不对称性；同时，证明了链式思维在一层变压器中的必要性，并进行了与多层变压器的实验证实。

    May, 2024

  • 通过语义感知的排列训练减轻逆序诅咒

    通过语义感知排列训练（SPT）方法，我们成功解决了因句子结构差异导致的逆转诅咒问题，改进了因果语言模型的性能，并推进了当前研究的发展。

    Mar, 2024

  • 逆向训练护理逆转诅咒

    大型语言模型（LLMs）在 “A 具有特征 B” 的训练中无法推广到 “B 是 A 的特征”，这称为反转诅咒。本研究提出了一种替代训练方案，称为反向训练，通过将训练字符串进行反转并保留（即不反转）选择的子字符串（如实体）来同时以正向和反向方式训练 LLM，以加倍可用令牌的数量。我们证明，数据匹配的反向训练模型在标准任务上提供了优越的性能，而计算匹配的反向训练模型在反转任务上提供了远超过标准模型的性能，有助于解决反转诅咒问题。

    Mar, 2024

  • 逆转诅咒：基于 “A 是 B” 训练的 LLMs 无法学习到 “B 是 A

    该研究揭示了自回归大型语言模型（LLM）中的泛化失败现象，即逆转诅咒，导致逻辑推断的基本失败。通过证据和评估表明 Reversal Curse 在不同模型大小和家族中都是普遍存在的。

    Sep, 2023

  • 透过双向语言模型编辑解除逆转咒语

    本文研究双向语言模型编辑，旨在提供严格的模型编辑评估，以评估编辑后的语言模型是否能双向回忆编辑的知识。引入了一种新的可逆性评估度量，并构建了一个名为 Bidirectional Assessment for Knowledge Editing (BAKE) 的基准来评估编辑后模型在回忆编辑的知识反向方向上的可逆性。我们惊奇地发现，虽然当前的编辑方法和语言模型在编辑方向上能有效地回忆编辑的事实，但在反向方向上评估时存在严重不足。为了缓解这种逆转的问题，提出了一种名为 Bidirectionally Inversible Relationship moDeling (BIRD) 的方法。设计了一组编辑目标，将主体和客体之间的双向关系纳入更新后的模型权重中。实验证明，BIRD 通过问答和判断提高了四个不同规模的代表性语言模型的性能。

    Oct, 2023

  • 增强大型语言模型的事实性通过协同解码关键标记

    使用协作解码框架来减少语言模型产生幻觉的重要性，通过利用预训练模型中的高度事实性来生成下一个标记，可以有效地降低模型的幻觉发生率。

    Feb, 2024

  • 分词不足：分词的诅咒

    大型语言模型存在分词问题，导致对错别字、长度差异和标记内部结构的忽视。本研究通过探究复杂问题解决、标记结构探测和对错别字的抵抗力来系统地调查这些挑战及其对大型语言模型的影响，并展示模型参数缩放与子词规范化对解决这些问题的作用。

    Jun, 2024

  • 语言模型反演

    语言模型的逆向推理问题研究中，使用下一令牌的概率分布信息可以恢复之前的提示令牌，即使对用户隐藏的文本也能通过模型的当前概率分布输出恢复未知的提示令牌。该研究考虑了多种模型访问场景，并展示了如何通过搜索即使在词汇表的每个令牌没有预测的情况下，通过恢复概率向量来重建的方法。在实验中，我们的逆向方法在 Llama-2 7b 上的重构提示上的 BLEU 为 59，令牌级别的 F1 为 78，并完全恢复了 27％的提示。

    Nov, 2023

  • 基于熵指导的外推解码方法提升大型语言模型中的事实准确性

    大型语言模型 (LLMs) 具备令人印象深刻的自然语言处理能力，但存在虚构结果的问题。最近的研究关注于解码技术，通过利用 LLMs 的分层表示技术及在推理过程中操纵预测分布，提高真实性。本文通过超出最后一层的关键标记概率外推和基于层次熵的下层选择，解耦选择过程与最后一层之间的关系，实验结果显示非常好的性能，并在多个数据集上大幅领先，分析结果表明不同类型的提示需要不同的选择策略。

    Apr, 2024