大型语言模型的编辑知识是一种有吸引力能力，允许我们在预训练期间纠正学习不正确的事实，并在模型中更新日益增长的新事实清单。然而，现有的模型编辑技术通常使用可靠性、特异性和对一项或少数几个编辑的泛化性指标进行评估。我们认为，为了使模型编辑具有实际效用，我们必须能够对同一模型进行多次编辑。针对当前的两种最先进的方法 ——ROME 和 MEMIT，我们在大规模上评估模型编辑方法。我们发现，随着模型被连续地编辑多个事实，它会不断遗忘先前编辑的事实以及执行下游任务的能力。这种遗忘分为两个阶段 —— 一个初始的逐渐但渐进性的遗忘阶段，后面是突然或灾难性的遗忘阶段。逐渐和灾难性的遗忘都限制了大规模上模型编辑方法的有效性和可扩展性。我们的分析还强调了 ROME 和 MEMIT 在大规模上的其他关键局限性。通过我们的工作，我们推动以可扩展性为中心的模型编辑方法的开发和评估。

Jan, 2024

本文介绍 KnowledgeEditor 一种方法，用于编辑语言模型中的知识，以修复 “错误” 或意外预测，且不需要重新训练或以元学习为前提条件。作者使用受约束的优化来训练一个超网络，该超网络可预测权重更新。作者展示了 KnowledgeEditor 的有效性，其支持两种流行的体系结构和知识密集型任务：一种是针对事实核对进行细微调整的 BERT 模型，另一种是适用于问答的序列到序列 BART 模型。

Apr, 2021

深度神经网络在学术界和工业界越来越普遍，在各个领域和相关任务上与人类的表现相媲美甚至超越。然而，即使是最大的人工神经网络也会出错，随着时间的推移，曾经正确的预测可能会失效。通过在数据集中增加考虑错误或最新信息的样本，可以解决这个问题。然而，灾难性遗忘现象对于改变神经网络参数中的隐性记忆知识以达到精确变化提出了挑战，通常需要重新训练整个模型才能实现所需的行为。这种方法昂贵、不可靠，并且与大规模自监督预训练的现行趋势不兼容，因此有必要找到更高效和有效的方法来适应变化的数据。为了满足这个需求，知识编辑作为一个新颖的研究领域正在兴起，旨在实现对预训练目标模型的可靠、数据高效和快速的变化，而不影响先前学到的任务上的模型行为。在本综述中，我们对这个最新的人工智能研究领域进行了简要回顾。首先，我们介绍了神经网络编辑的问题，在一个共同框架中对其进行了形式化，并将其与连续学习等更有名的研究分支进行了区分。接下来，我们对迄今为止提出的最相关的知识编辑方法和数据集进行了回顾，并将这些工作分为四个不同的类别：正则化技术、元学习、直接模型编辑和架构策略。最后，我们概述了与其他研究领域的一些交叉点和未来的潜在方向。

Oct, 2023

利用 EREN（通过阅读笔记编辑模型）提出方法来提高大型语言模型的可伸缩性和鲁棒性，通过正确响应语法相似但语义无关的输入以及从多个修改中整合知识，优于现有技术。

Mar, 2024

通过检索训练样本并进行编辑来生成复杂输出的方法，特别是源代码生成，最近已经被广泛使用。本文提出了一种有效的方法，即使用基于任务的嵌入式检索模型，使生成器基于输入直接编辑生成输出，且在新的 GitHub Python 代码和 Hearthstone 卡牌基准模型上实现了改进效果。

Dec, 2018

通过引入一种新的方法，即 SCEN（通过定制化专家网络的可扩展性模型编辑），我们在两个不同大小的开源大语言模型 Llama2 7B 和 13B 上取得了与现有主流模型编辑方法相比的最新成果。

Apr, 2024

大型语言模型具有刻板印象偏见，模型编辑方法能够缓解这一问题，本研究通过综合性研究从多个角度评估了七种模型编辑算法在刻板偏见消除中的潜力和挑战，同时提出了两种简单有效的方法以提升刻板偏见的编辑效果。

Feb, 2024

这篇论文提出了一种名为 WISE 的方法，通过设计双参数记忆方案和知识分片机制，解决了大语言模型在终身模型编辑中的可靠性、泛化性和局部性之间的冲突，有效提升了问题回答、虚构和超越分布等任务的性能。

May, 2024

本文研究分布式表征编辑的问题，并将神经编辑器与编辑编码器结合起来，可以学习表示编辑的重要信息，并用于将编辑应用于新输入。我们在自然语言和源代码编辑数据上进行实验，结果表明我们的神经网络模型学习捕捉了编辑的结构和语义。希望这个有趣的任务和数据源能够激发其他研究者进一步研究这一问题。

Oct, 2018

当前的知识编辑方法在有效传播互联事实的更新方面存在困难。本研究深入探讨了在准确推理中妨碍更新知识适当传播的障碍。为了支持我们的分析，我们引入了一个新颖的基于推理的基准测试 - ReCoE（基于推理的反事实编辑数据集），其中涵盖了真实世界中的六个常见推理方案。我们对包括输入增强、微调和定位 - 编辑在内的现有知识编辑技术进行了彻底分析。我们发现，所有模型编辑方法在这个数据集上显示出明显的低性能，特别是在某些推理方案上。通过对编辑模型思维链的分析，我们从推理的角度揭示了现有知识编辑方法不足的关键原因，涉及到对事实的编辑，事实回忆能力和生成连贯性方面。我们将公开提供我们的基准测试。

Jan, 2024