Jan, 2024

规模化的模型编辑导致渐进性和灾难性遗忘

PDF
TL;DR大型语言模型的编辑知识是一种有吸引力能力，允许我们在预训练期间纠正学习不正确的事实，并在模型中更新日益增长的新事实清单。然而，现有的模型编辑技术通常使用可靠性、特异性和对一项或少数几个编辑的泛化性指标进行评估。我们认为，为了使模型编辑具有实际效用，我们必须能够对同一模型进行多次编辑。针对当前的两种最先进的方法 ——ROME 和 MEMIT，我们在大规模上评估模型编辑方法。我们发现，随着模型被连续地编辑多个事实，它会不断遗忘先前编辑的事实以及执行下游任务的能力。这种遗忘分为两个阶段 —— 一个初始的逐渐但渐进性的遗忘阶段，后面是突然或灾难性的遗忘阶段。逐渐和灾难性的遗忘都限制了大规模上模型编辑方法的有效性和可扩展性。我们的分析还强调了 ROME 和 MEMIT 在大规模上的其他关键局限性。通过我们的工作，我们推动以可扩展性为中心的模型编辑方法的开发和评估。
editing knowledgelarge language modelsmodel editingforgettingscalability
发现论文，激发创造
  • 模型编辑的统一框架

    模型编辑是一个在更新模型中嵌入的知识方面不断发展的领域，本文针对 “定位和编辑” 模型编辑技术中的两种方法 ——ROME 和 MEMIT，提出了一个统一框架，将其优化为针对相同目标的 “保持记忆” 的目标，并提出了 EMMET 算法作为一种基于等式约束的批量记忆编辑算法。

    Mar, 2024

  • 大规模基于记忆的模型编辑

    介绍了一种基于 Semi-Parametric Editing with a Retrieval-Augmented Counterfactual Model (SERAC) 的模型编辑方法，具备内存高、编辑表达能力强的特点，能够高效地处理基于问答、事实核查和对话生成的 3 种具有挑战性的语言模型编辑问题。

    Jun, 2022

  • 重建 ROME：解决串行模型编辑中的模型崩溃问题

    通过对模型编辑中的残疾编辑进行研究，作者发现残疾编辑会导致模型立即崩溃，限制了 Rank-One 模型编辑方法（ROME）的连续编辑的使用。在本文中，作者展示了模型编辑中的崩溃现象只会在使用 CounterFact 数据集进行编辑时出现，而在使用 zsRE 数据集时并不会出现。此外，作者发现残疾编辑是 ROME 原始实现的一个人为问题，通过提供了一个更稳定的 ROME 实现（称为 r-ROME），作者展示了使用 ROME 进行大规模连续编辑时不再观察到模型崩溃的现象。

    Mar, 2024

  • 模型编辑的蝴蝶效应：少量编辑可触发大型语言模型崩溃

    模型编辑的影响、用困惑度作为衡量指标、顺序编辑和困难案例的研究，以及开发 HardCF 数据集探索模型编辑的潜在风险。

    Feb, 2024

  • 知识编辑方法如何有效编辑让人困惑的知识？

    大语言模型知识编辑的挑战在于不同类型的知识以及层次关系对编辑效果的影响。本研究通过量化知识的困惑度并评估编辑方法的效果，发现新知识的困惑度与编辑效果存在负相关。进一步研究发现，抽象概念更困惑，而层次关系对编辑结果有影响。研究提供了更深入的大语言模型编辑挑战以及未来模型编辑的启示。

    Jun, 2024

  • 模型编辑的长篇评估

    模型编辑评估中长文本生成的有效性及影响的新型评估方法（LEME）揭示了模型编辑方法的新维度，其中一些方法在有限范围内具有良好的一致性，但更容易出现事实偏移问题。

    Feb, 2024

  • 模型编辑中的遗漏部分：对模型编辑带来的隐藏损害的深入探究

    该论文提出了一种用于评估和缓解大型语言模型编辑中的涟漪效应的方法，通过引入 GORA 和 SORA 方法，实现了对模型编辑的量化评估，有效解决了当前模型编辑方法中存在的隐藏空间涟漪效应问题，推进了大型语言模型编辑技术的发展。

    Mar, 2024

  • ROME 的倒台：对 LLMs 在模型编辑中崩溃的理解

    尽管模型编辑方法取得了显著进展，但在实际场景中应用仍然具有挑战性，因为它们经常导致大型语言模型发生崩溃。本文研究了这种崩溃的根本原因，并通过广泛的分析，确定了导致崩溃的两个主要因素。为了验证我们的分析，我们提出了一种简单而有效的方法：在编辑阶段统一使用带前缀的键，并在测试阶段添加前缀。实验结果表明，这种解决方案可以预防模型崩溃，同时保持编辑的有效性。

    Jun, 2024

  • 模型编辑可能损害大型语言模型的普适能力

    通过对两个大型语言模型在八个代表性任务类别上评估四种常用的编辑方法进行广泛实证研究后，我们发现模型的编辑能够提高模型的事实性，但会显著损害模型的通用能力，因此我们呼吁更多的研究努力来最小化在大语言模型预训练期间获得的通用能力的损失，并在模型编辑过程中最终保留它们。

    Jan, 2024

  • 大型语言模型中序列记忆编辑的全面评估

    修改存储在大型语言模型中的错误事实或注入新事实的记忆编辑（ME）方法已被证明是有效的。然而，先前的研究在 ME 评估方面存在两个关键限制：仅评估单个编辑的 LLMs，忽视了连续编辑的需求，以及仅关注基本事实三元组的评估，忽略了更广泛的 LLM 能力如逻辑推理和阅读理解。这项研究通过三个方面解决了这些限制，并发现参数修改型 ME 在几个连续编辑后会显著降低性能，而参数保持型 ME 则能有效地保持 LLMs 的基本能力，但在以不同格式呈现的已编辑知识的准确记忆方面存在困难。此外，该研究还提出了几种可能缓解 ME 不利影响的策略，并从参数修改、语言建模能力和上下文学习能力三个维度进一步解释了为何参数修改型 ME 会损害 LLMs。这项深入研究倡导在实际应用中更谨慎地使用 ME。

    Feb, 2024