本文介绍 KnowledgeEditor 一种方法，用于编辑语言模型中的知识，以修复 “错误” 或意外预测，且不需要重新训练或以元学习为前提条件。作者使用受约束的优化来训练一个超网络，该超网络可预测权重更新。作者展示了 KnowledgeEditor 的有效性，其支持两种流行的体系结构和知识密集型任务：一种是针对事实核对进行细微调整的 BERT 模型，另一种是适用于问答的序列到序列 BART 模型。

Apr, 2021

本研究提出了一种新的任务，即在不影响其余表现的情况下编辑语言模型 KG 基础嵌入，并构建了四个新数据集来评估多个知识编辑基线和一种名为 KGEditor 的新方法，其利用超级网络的其他参数层来编辑和添加事实，实验结果表明 KGEditor 可以在具有低训练资源但需要更新特定事实的情况下表现更好。

Jan, 2023

大型语言模型 (Large Language Models) 在理解和生成与人类交流非常相似的文本方面表现出非凡的能力。然而，由于其广泛的参数化，训练过程中存在重大的计算需求限制。这种挑战由于世界的动态性而进一步加剧，需要经常更新 LLM 以纠正过时的信息或整合新知识，从而确保它们持续具有相关性。近年来，对于即时修改模型的高效轻量级方法引起了越来越多的关注。本文首先定义了知识编辑问题，然后提供了对最前沿方法的全面回顾。在教育和认知研究理论的启发下，我们提出了一个统一的分类准则，将知识编辑方法分为三类：利用外部知识、将知识合并到模型中以及编辑内在知识。此外，我们引入了一个新的基准 KnowEdit，以对代表性的知识编辑方法进行综合实证评估。此外，我们对知识定位进行了深入分析，从而更深入地了解 LLM 固有的知识结构。最后，我们讨论了知识编辑的几个潜在应用，并概述了它的广泛而有影响力的意义。

Jan, 2024

深度神经网络在学术界和工业界越来越普遍，在各个领域和相关任务上与人类的表现相媲美甚至超越。然而，即使是最大的人工神经网络也会出错，随着时间的推移，曾经正确的预测可能会失效。通过在数据集中增加考虑错误或最新信息的样本，可以解决这个问题。然而，灾难性遗忘现象对于改变神经网络参数中的隐性记忆知识以达到精确变化提出了挑战，通常需要重新训练整个模型才能实现所需的行为。这种方法昂贵、不可靠，并且与大规模自监督预训练的现行趋势不兼容，因此有必要找到更高效和有效的方法来适应变化的数据。为了满足这个需求，知识编辑作为一个新颖的研究领域正在兴起，旨在实现对预训练目标模型的可靠、数据高效和快速的变化，而不影响先前学到的任务上的模型行为。在本综述中，我们对这个最新的人工智能研究领域进行了简要回顾。首先，我们介绍了神经网络编辑的问题，在一个共同框架中对其进行了形式化，并将其与连续学习等更有名的研究分支进行了区分。接下来，我们对迄今为止提出的最相关的知识编辑方法和数据集进行了回顾，并将这些工作分为四个不同的类别：正则化技术、元学习、直接模型编辑和架构策略。最后，我们概述了与其他研究领域的一些交叉点和未来的潜在方向。

Oct, 2023

当前研究主要关注白盒大语言模型（LLMs）编辑，忽略了一个重要的场景：黑盒 LLMs 编辑，其中 LLMs 通过接口进行访问，仅有文本输出可用。为了解决现有评估不适用于黑盒 LLMs 编辑且不具备全面性的局限性，我们提出了一个多角度评估框架，首次加入了风格保留的评估。为了解决当前方法中的编辑数据隐私泄露和过度编辑风格的问题，我们引入了一种新的 postEdit 框架，通过下游后处理解决隐私问题，并通过细粒度编辑保持文本风格一致。两个基准实验和分析表明，postEdit 超过了所有对比基准并实现了强大的泛化性能，特别是在风格保留上获得了巨大的提升（平均提高了 20.82%）。

Feb, 2024

该研究构建了一个名为 RaKE 的基准，专注于基于关系的知识编辑，并通过创新的评估指标和全面的实验研究，确认了关系在事实三元组中的作用，为未来的基于关系的知识编辑方法提供了实验支持。

Nov, 2023

知识编辑目标是将知识更新注入语言模型中以保持其正确性和最新性。然而，当前的评估策略明显不实用：它们仅以精心策划的结构化事实（包含主语、关系和宾语的三元组）进行更新，而真实世界的知识更新通常出现在无结构的文本中，如新闻文章。本文提出一个新的基准，无结构知识编辑（Unstructured Knowledge Editing，简称 UKE），直接使用无结构的文本作为知识更新进行编辑性能评估，从而避免了繁琐的结构化事实构建，并实现了高效和响应性的知识编辑，成为一个更实用的基准。我们在新构建的数据集上进行了广泛的实验，并证明 UKE 对于最先进的知识编辑方法构成了重大挑战，导致它们的性能显著下降。我们进一步展示，即使将三元组提取为结构化事实，这个挑战仍然存在。我们的分析揭示了激励未来 UKE 研究的关键见解，以实现更实用的知识编辑。

Feb, 2024

通过研究发现，Parameter-Efficient Fine-Tuning (PEFT) 技术相较于定位和编辑方法，在时效性知识编辑方面表现更优，从而为大型语言模型的更新提供了一种替代方案。

Jun, 2024

通过引入时间知识编辑（TKE）任务和建立一个评估当前模型编辑方法的基准 AToKe（Temporal Knowledge Editing 的评估）来解决现有模型编辑方法在记住新知识方面有效，但对历史知识遗忘严重的问题。为了解决这个问题，我们提出了一个简单且通用的框架 METO（Multi-Editing with Time Objective），用于增强现有的编辑模型，同时编辑历史知识和新知识，并优化模型对每个事实的时间预测。我们的评估表明，虽然 AToKe 仍然困难，但 METO 保持了学习新知识的有效性，同时显著提高了编辑模型在利用历史知识方面的性能。

Dec, 2023

介绍了大型语言模型（LLMs）的计算成本问题以及知识模型编辑（KME）领域中的最新进展和分类技术，探讨了方法的洞见、优势、限制以及实际应用和挑战，并提出了未来研究方向。

Oct, 2023