Jun, 2024

因子化诅咒：预测逆转诅咒及更多的标记

HTML
PDF
TL;DR最好的语言模型仍然在幻影现象方面存在困难：生成的事实不正确，这妨碍了它们在训练期间可靠地检索到的信息；我们将逆序诅咒重新界定为因子化诅咒-模型在不同的因子化下学习相同联合分布的失败；通过一系列的受控实验，包括我们引入的模拟知识密集的微调任务的WikiReversal，我们发现因子化诅咒是流行大型语言模型中使用的下一个标记预测目标的固有失败；此外，我们证明可靠的信息检索无法通过规模、反向标记甚至朴素的双向注意力训练来解决；因此，在专门数据上进行微调的各种方法在下游任务上必然会产生不同的结果，除非模型已经看到正确的令牌序列；在五个不同复杂程度的任务中，我们的结果揭示了一个有希望的前进路径：因子化不可知目标可以显著减轻逆序诅咒，并暗示了改进的知识存储和计划能力。
发现论文，激发创造
  • 当不应信任语言模型：探究参数式与非参数式记忆的有效性和局限性

    此论文通过在新的问题/答案（QA）数据集PopQA上对10个模型和4种增强方法进行大规模的知识探测实验，旨在了解大型语言模型(LMs)在记忆事实知识方面的优劣，发现LMs在纽约市场上的市场地位相对较低，而检索增强的LMs在不需要检索的情况下可以显著地改善性能，并降低推理成本。

    Dec, 2022

  • 大型语言模型在知识冲突中的行为：自适应变色龙或顽固树懒

    本文提出了一种系统性方法，通过对LLMs的参数化记忆进行质量控制来构建相应的反记忆，并借此进行了一系列受控实验，研究了LLMs在遇到知识冲突时的行为，发现LLMs在保持一致性和可信性的情况下，即使与其参数化记忆冲突，也可以高度接受外部证据，但在提供与其参数化记忆一致的信息时，它们也表现出强烈的确认偏差。这些结果对工具和检索增强LLMs的进一步开发和部署具有重要意义。

    May, 2023

  • 是否陷入中等智能陷阱？逆转诅咒的分析与缓解

    大型语言模型中存在的逆转诅咒问题，训练目标的限制以及对整个上下文的了解程度对其影响，因此提出了一种新的训练方法BICO来缓解这一问题。

    Nov, 2023

  • 定位和检测语言模型基础的瑕疵：使用Fakepedia

    中文摘要：本研究介绍了Fakepedia，一个反事实数据集，用于评估大型语言模型在参数化知识与上下文信息相冲突时的接地能力。我们测试了各种大型语言模型在Fakepedia上的表现，并发现GPT-4-turbo更偏好参数化知识，而Mistral-7B则最稳定地选择了接地答案。此外，我们对大型语言模型进行因果中介分析，结果表明仅凭计算图的检查即可预测92.8%准确度的接地情况，尤其是变压器中的少数MLP可以预测非接地行为。我们的结果与现有关于事实回忆机制的发现相结合，提供了大型语言模型中接地和事实回忆机制的相互作用的连贯叙述。

    Dec, 2023

  • 通过语义感知的排列训练减轻逆序诅咒

    通过语义感知排列训练（SPT）方法，我们成功解决了因句子结构差异导致的逆转诅咒问题，改进了因果语言模型的性能，并推进了当前研究的发展。

    Mar, 2024

  • 通过训练动力学探索“逆转诅咒”的理论理解

    通过训练动力学，理论分析自回归模型中的逆转问题，揭示了逆转诅咒发生的核心原因是自回归模型的权重存在不对称性；同时，证明了链式思维在一层变压器中的必要性，并进行了与多层变压器的实验证实。

    May, 2024

  • 揭开潜在记忆：评估大型语言模型中的数据泄露和记忆模式

    该研究通过评估训练数据的统计特征对模型中的记忆编码产生的影响，重现了重复次数对记忆序列遗忘概率的对数标度关系，并发现即使没有后续接触，经过多次训练的数据仍然可以在训练过程中被揭示。由于这些潜在的记忆序列可能隐藏在模型的最终检查点上，这对数据隐私具有挑战性。为此，我们开发了一种通过考虑交叉熵损失来揭示这些潜在记忆序列的诊断测试。

    Jun, 2024

  • 从语言模型中抹除概念知识

    本研究解决了语言模型中概念抹除方法缺乏全面评估框架的问题，提出了一种基于无辜性、无缝性和特异性三个关键标准的评估范式。通过发展新方法“语言记忆抹除（ELM）”，实现对概念的有效抹除，同时保持生成的流畅性和与不相关任务的性能。研究表明，ELM在生物安全、网络安全和文学领域的应用中表现优异，有望推动相关领域的研究进展。

    Oct, 2024

  • 深入研究逆转诅咒：大型语言模型能在多大程度上进行泛化？

    本文探讨了大型语言模型（LLMs）在逆转诅咒问题上的表现，揭示了其在一般化能力和问题解决机制方面的局限。研究发现，LLMs在特定结构的事实下能够进行有效的一般化，而训练过程中固有的偏差对模型的下游表现有显著负面影响。通过这些研究，提供了对LLMs学习方法的新见解。

    Oct, 2024

  • 跨时间和规模的变压器逐字上下文检索

    本研究解决了语言模型在预测文本时逐字检索上下文信息的能力发展问题。通过对模型训练过程的分析，我们发现这种逐字检索能力在训练早期的突然转变中出现，并与零样本基准的学习呈正相关。该研究的主要发现是，具体名词的检索优势在训练初期显著，但最终会逐渐减弱，这为理解语言模型的学习机制提供了重要见解。

    Nov, 2024