Mar, 2024

重建 ROME：解决串行模型编辑中的模型崩溃问题

PDF
TL;DR通过对模型编辑中的残疾编辑进行研究，作者发现残疾编辑会导致模型立即崩溃，限制了 Rank-One 模型编辑方法（ROME）的连续编辑的使用。在本文中，作者展示了模型编辑中的崩溃现象只会在使用 CounterFact 数据集进行编辑时出现，而在使用 zsRE 数据集时并不会出现。此外，作者发现残疾编辑是 ROME 原始实现的一个人为问题，通过提供了一个更稳定的 ROME 实现（称为 r-ROME），作者展示了使用 ROME 进行大规模连续编辑时不再观察到模型崩溃的现象。
model editingrank-one model editingdisabling editsmodel collapser-rome
发现论文，激发创造
  • ROME 的倒台：对 LLMs 在模型编辑中崩溃的理解

    尽管模型编辑方法取得了显著进展，但在实际场景中应用仍然具有挑战性，因为它们经常导致大型语言模型发生崩溃。本文研究了这种崩溃的根本原因，并通过广泛的分析，确定了导致崩溃的两个主要因素。为了验证我们的分析，我们提出了一种简单而有效的方法：在编辑阶段统一使用带前缀的键，并在测试阶段添加前缀。实验结果表明，这种解决方案可以预防模型崩溃，同时保持编辑的有效性。

    Jun, 2024

  • 规模化的模型编辑导致渐进性和灾难性遗忘

    大型语言模型的编辑知识是一种有吸引力能力，允许我们在预训练期间纠正学习不正确的事实，并在模型中更新日益增长的新事实清单。然而，现有的模型编辑技术通常使用可靠性、特异性和对一项或少数几个编辑的泛化性指标进行评估。我们认为，为了使模型编辑具有实际效用，我们必须能够对同一模型进行多次编辑。针对当前的两种最先进的方法 ——ROME 和 MEMIT，我们在大规模上评估模型编辑方法。我们发现，随着模型被连续地编辑多个事实，它会不断遗忘先前编辑的事实以及执行下游任务的能力。这种遗忘分为两个阶段 —— 一个初始的逐渐但渐进性的遗忘阶段，后面是突然或灾难性的遗忘阶段。逐渐和灾难性的遗忘都限制了大规模上模型编辑方法的有效性和可扩展性。我们的分析还强调了 ROME 和 MEMIT 在大规模上的其他关键局限性。通过我们的工作，我们推动以可扩展性为中心的模型编辑方法的开发和评估。

    Jan, 2024

  • 模型编辑的统一框架

    模型编辑是一个在更新模型中嵌入的知识方面不断发展的领域，本文针对 “定位和编辑” 模型编辑技术中的两种方法 ——ROME 和 MEMIT，提出了一个统一框架，将其优化为针对相同目标的 “保持记忆” 的目标，并提出了 EMMET 算法作为一种基于等式约束的批量记忆编辑算法。

    Mar, 2024

  • 模型编辑的蝴蝶效应：少量编辑可触发大型语言模型崩溃

    模型编辑的影响、用困惑度作为衡量指标、顺序编辑和困难案例的研究，以及开发 HardCF 数据集探索模型编辑的潜在风险。

    Feb, 2024

  • 模型编辑中的遗漏部分：对模型编辑带来的隐藏损害的深入探究

    该论文提出了一种用于评估和缓解大型语言模型编辑中的涟漪效应的方法，通过引入 GORA 和 SORA 方法，实现了对模型编辑的量化评估，有效解决了当前模型编辑方法中存在的隐藏空间涟漪效应问题，推进了大型语言模型编辑技术的发展。

    Mar, 2024

  • 知识编辑方法如何有效编辑让人困惑的知识？

    大语言模型知识编辑的挑战在于不同类型的知识以及层次关系对编辑效果的影响。本研究通过量化知识的困惑度并评估编辑方法的效果，发现新知识的困惑度与编辑效果存在负相关。进一步研究发现，抽象概念更困惑，而层次关系对编辑结果有影响。研究提供了更深入的大语言模型编辑挑战以及未来模型编辑的启示。

    Jun, 2024

  • 扰动约束的序列模型编辑

    对于大型语言模型的连续学习提出了一个名为 PRUNE 的框架，通过应用条件数的限制来保护模型的一般能力，从而在顺序模型编辑中有效地维持了编辑性能。

    May, 2024

  • 大规模基于记忆的模型编辑

    介绍了一种基于 Semi-Parametric Editing with a Retrieval-Augmented Counterfactual Model (SERAC) 的模型编辑方法，具备内存高、编辑表达能力强的特点，能够高效地处理基于问答、事实核查和对话生成的 3 种具有挑战性的语言模型编辑问题。

    Jun, 2022

  • 编码器 - 解码器模型的秩一编辑

    本研究在 Encoder-Decoder transformer 模型中提出了 4 种编辑任务，并展示了这种直接干预方法的高效性，只需一个有效实例就能修复错误的负面模型行为。

    Nov, 2022

  • 模型坍塌的揭秘：回归案例

    基于 ChatGPT 等大规模语言模型的研究中，模型崩溃现象指的是当模型在逐步进行自身前代生成的数据递归训练时，其性能逐渐降低直至彻底无效化，即模型崩溃。本研究在核回归的简化环境中研究了这一现象，并得到了结果，证明了模型能应对虚假数据的临界点以及性能完全崩溃的情况。在多项式衰减光谱和源条件下，我们得到了展示快速到缓慢变化速率新临界点的修改缩放规律。同时，我们还提出了基于自适应正则化的简单策略来减轻模型崩溃的影响。我们的理论结果经过实验证实。

    Feb, 2024