Jun, 2024

ROME 的倒台：对 LLMs 在模型编辑中崩溃的理解

PDF
TL;DR尽管模型编辑方法取得了显著进展，但在实际场景中应用仍然具有挑战性，因为它们经常导致大型语言模型发生崩溃。本文研究了这种崩溃的根本原因，并通过广泛的分析，确定了导致崩溃的两个主要因素。为了验证我们的分析，我们提出了一种简单而有效的方法：在编辑阶段统一使用带前缀的键，并在测试阶段添加前缀。实验结果表明，这种解决方案可以预防模型崩溃，同时保持编辑的有效性。
model editing methodslarge language modelsmodel collapseparameter update equationautoregressive transformers
发现论文，激发创造
  • 重建 ROME：解决串行模型编辑中的模型崩溃问题

    通过对模型编辑中的残疾编辑进行研究，作者发现残疾编辑会导致模型立即崩溃，限制了 Rank-One 模型编辑方法（ROME）的连续编辑的使用。在本文中，作者展示了模型编辑中的崩溃现象只会在使用 CounterFact 数据集进行编辑时出现，而在使用 zsRE 数据集时并不会出现。此外，作者发现残疾编辑是 ROME 原始实现的一个人为问题，通过提供了一个更稳定的 ROME 实现（称为 r-ROME），作者展示了使用 ROME 进行大规模连续编辑时不再观察到模型崩溃的现象。

    Mar, 2024

  • 模型编辑的蝴蝶效应：少量编辑可触发大型语言模型崩溃

    模型编辑的影响、用困惑度作为衡量指标、顺序编辑和困难案例的研究，以及开发 HardCF 数据集探索模型编辑的潜在风险。

    Feb, 2024

  • 规模化的模型编辑导致渐进性和灾难性遗忘

    大型语言模型的编辑知识是一种有吸引力能力，允许我们在预训练期间纠正学习不正确的事实，并在模型中更新日益增长的新事实清单。然而，现有的模型编辑技术通常使用可靠性、特异性和对一项或少数几个编辑的泛化性指标进行评估。我们认为，为了使模型编辑具有实际效用，我们必须能够对同一模型进行多次编辑。针对当前的两种最先进的方法 ——ROME 和 MEMIT，我们在大规模上评估模型编辑方法。我们发现，随着模型被连续地编辑多个事实，它会不断遗忘先前编辑的事实以及执行下游任务的能力。这种遗忘分为两个阶段 —— 一个初始的逐渐但渐进性的遗忘阶段，后面是突然或灾难性的遗忘阶段。逐渐和灾难性的遗忘都限制了大规模上模型编辑方法的有效性和可扩展性。我们的分析还强调了 ROME 和 MEMIT 在大规模上的其他关键局限性。通过我们的工作，我们推动以可扩展性为中心的模型编辑方法的开发和评估。

    Jan, 2024

  • 知识编辑方法如何有效编辑让人困惑的知识？

    大语言模型知识编辑的挑战在于不同类型的知识以及层次关系对编辑效果的影响。本研究通过量化知识的困惑度并评估编辑方法的效果，发现新知识的困惑度与编辑效果存在负相关。进一步研究发现，抽象概念更困惑，而层次关系对编辑结果有影响。研究提供了更深入的大语言模型编辑挑战以及未来模型编辑的启示。

    Jun, 2024

  • 大规模语言模型的鲁棒可扩展模型编辑

    利用 EREN（通过阅读笔记编辑模型）提出方法来提高大型语言模型的可伸缩性和鲁棒性，通过正确响应语法相似但语义无关的输入以及从多个修改中整合知识，优于现有技术。

    Mar, 2024

  • 自回归之火：通过它们所训练解决的问题来理解大型语言模型

    大语言模型的广泛应用使得识别它们的优势和局限性变得重要。我们主张，为了全面理解这些系统，我们需要考虑它们在训练中解决的问题：互联网文本的下一个词预测。通过认识到这个任务所带来的压力，我们可以对大语言模型采用的策略进行预测，从而推断它们的成功或失败。这种方法，我们称之为目的论方法，使我们能够确定三个因素，我们假设这些因素会影响大语言模型的准确性：执行任务的概率、目标输出的概率和提供的输入的概率。我们预测，当这些概率较高时，大语言模型的准确性会更高，而当概率较低时，即使在确定性环境下，概率也不应该起作用。为了验证我们的预测，我们对两个大语言模型（GPT-3.5 和 GPT-4）进行了十一项任务的评估，我们找到了强有力的证据表明大语言模型受到我们假设的概率影响的方式。在许多情况下，实验揭示了令人惊讶的失效模式。例如，当输出是高概率单词序列时，GPT-4 解码简单密码的准确率为 51%，但当输出是低概率时，准确率为 13%。这些结果表明 AI 从业者在低概率情况下使用大语言模型时需要谨慎。更广泛地说，我们得出结论，我们不应该把大语言模型评估为人类，而应该把它们看作一类独特的系统 —— 这类系统经过了自己特定的压力塑造。

    Sep, 2023

  • 利用大型语言模型预测编辑操作来减少序列长度

    本文提出一种通过预测编辑操作集合来实现本地序列转导任务的方法，并使用指令调整来对大型语言模型进行监督学习，实验证明该方法在常见任务中具备与基线模型相当的性能，同时可将目标文本长度缩小 21%。

    May, 2023

  • 大型语言模型编辑：问题、方法和机遇

    本研究旨在探讨大型语言模型的编辑问题，提出当前最先进的编辑方法并构建了一个新的基准数据集进行实证分析，从而为研究社区在选择适用于特定任务或上下文的最合适的方法时提供有价值的见解。

    May, 2023

  • 面对 Token 危机下放大 LLM：重复还是不重复的思考

    本研究旨在通过重复预训练数据来加强大型语言模型。然而，该方法容易导致过拟合，除非使用适当的正则化方法，其中最有效的是 dropout。同时，本研究还探索了数据集大小，模型参数和训练目标等因素对多重训练期恶化的影响，以及混合专家方法如何提高密集大型语言模型的计算效率和性能。

    May, 2023

  • 大规模语言模型的元学习编辑

    使用 MAssive Language Model Editing Network (MALMEN) 方法，以超网络生成参数移位来校正大型语言模型中的知识误差和过时问题。该方法可同时编辑多个事实，并比特定于 GPT 的编辑器在知识密集型 NLP 任务上表现更佳。

    Nov, 2023