知识编辑目标是将知识更新注入语言模型中以保持其正确性和最新性。然而，当前的评估策略明显不实用：它们仅以精心策划的结构化事实（包含主语、关系和宾语的三元组）进行更新，而真实世界的知识更新通常出现在无结构的文本中，如新闻文章。本文提出一个新的基准，无结构知识编辑（Unstructured Knowledge Editing，简称 UKE），直接使用无结构的文本作为知识更新进行编辑性能评估，从而避免了繁琐的结构化事实构建，并实现了高效和响应性的知识编辑，成为一个更实用的基准。我们在新构建的数据集上进行了广泛的实验，并证明 UKE 对于最先进的知识编辑方法构成了重大挑战，导致它们的性能显著下降。我们进一步展示，即使将三元组提取为结构化事实，这个挑战仍然存在。我们的分析揭示了激励未来 UKE 研究的关键见解，以实现更实用的知识编辑。

Feb, 2024

大型语言模型具有刻板印象偏见，模型编辑方法能够缓解这一问题，本研究通过综合性研究从多个角度评估了七种模型编辑算法在刻板偏见消除中的潜力和挑战，同时提出了两种简单有效的方法以提升刻板偏见的编辑效果。

Feb, 2024

大型语言模型 (Large Language Models) 在理解和生成与人类交流非常相似的文本方面表现出非凡的能力。然而，由于其广泛的参数化，训练过程中存在重大的计算需求限制。这种挑战由于世界的动态性而进一步加剧，需要经常更新 LLM 以纠正过时的信息或整合新知识，从而确保它们持续具有相关性。近年来，对于即时修改模型的高效轻量级方法引起了越来越多的关注。本文首先定义了知识编辑问题，然后提供了对最前沿方法的全面回顾。在教育和认知研究理论的启发下，我们提出了一个统一的分类准则，将知识编辑方法分为三类：利用外部知识、将知识合并到模型中以及编辑内在知识。此外，我们引入了一个新的基准 KnowEdit，以对代表性的知识编辑方法进行综合实证评估。此外，我们对知识定位进行了深入分析，从而更深入地了解 LLM 固有的知识结构。最后，我们讨论了知识编辑的几个潜在应用，并概述了它的广泛而有影响力的意义。

Jan, 2024

我们提出了一种新的知识编辑视角，称之为基于约束的解码，在大型语言模型中进行。我们提出了 DeepEdit（一种基于深度优先搜索的渐进解码知识编辑的神经符号方法），该方法通过更好的推理连贯性、与问题的相关性以及对更新知识的认知来提高知识编辑。DeepEdit 可以灵活应用于所有黑盒语言模型，不需要访问模型参数、表示或输出词汇分布。DeepEdit 逐步产生高质量的推理步骤，以实现有效的知识编辑。它利用深度优先搜索来修订语言模型的输出，从而提高对输入问题的信息量和对更新知识的认知。在定性上，DeepEdit 能够有效控制语言模型，以更简洁的推理方式进行知识编辑。在定量上，DeepEdit 在具有知识编辑任务的挑战性多跳问答数据集 MQuaKE 上取得了显著的性能提升。我们在此 https URL 上发布了源代码。

Jan, 2024

本研究旨在探讨大型语言模型的编辑问题，提出当前最先进的编辑方法并构建了一个新的基准数据集进行实证分析，从而为研究社区在选择适用于特定任务或上下文的最合适的方法时提供有价值的见解。

May, 2023

知识编辑技术可以更新语言模型从预训练中学到的过时或不准确的知识，我们通过引入一个新的任务来研究如何检测语言模型中的编辑知识，提出了一个简单的分类器 RepReg，它可以在有限的训练样本下实现接近最优的性能。

May, 2024

本文研究分布式表征编辑的问题，并将神经编辑器与编辑编码器结合起来，可以学习表示编辑的重要信息，并用于将编辑应用于新输入。我们在自然语言和源代码编辑数据上进行实验，结果表明我们的神经网络模型学习捕捉了编辑的结构和语义。希望这个有趣的任务和数据源能够激发其他研究者进一步研究这一问题。

Oct, 2018

该论文探索了在大型语言模型中编辑概念性知识的能力，通过构建一个新的基准数据集 ConceptEdit 和建立一套新的度量标准来评估现有的编辑方法。实验结果表明，虽然现有的编辑方法在某种程度上能有效地修改概念级别的定义，但也有可能扭曲大型语言模型中相关的实例化知识，导致性能下降。这对于更好地理解大型语言模型的能力具有启发意义。

Mar, 2024

深度神经网络在学术界和工业界越来越普遍，在各个领域和相关任务上与人类的表现相媲美甚至超越。然而，即使是最大的人工神经网络也会出错，随着时间的推移，曾经正确的预测可能会失效。通过在数据集中增加考虑错误或最新信息的样本，可以解决这个问题。然而，灾难性遗忘现象对于改变神经网络参数中的隐性记忆知识以达到精确变化提出了挑战，通常需要重新训练整个模型才能实现所需的行为。这种方法昂贵、不可靠，并且与大规模自监督预训练的现行趋势不兼容，因此有必要找到更高效和有效的方法来适应变化的数据。为了满足这个需求，知识编辑作为一个新颖的研究领域正在兴起，旨在实现对预训练目标模型的可靠、数据高效和快速的变化，而不影响先前学到的任务上的模型行为。在本综述中，我们对这个最新的人工智能研究领域进行了简要回顾。首先，我们介绍了神经网络编辑的问题，在一个共同框架中对其进行了形式化，并将其与连续学习等更有名的研究分支进行了区分。接下来，我们对迄今为止提出的最相关的知识编辑方法和数据集进行了回顾，并将这些工作分为四个不同的类别：正则化技术、元学习、直接模型编辑和架构策略。最后，我们概述了与其他研究领域的一些交叉点和未来的潜在方向。

Oct, 2023

本文旨在研究知识编辑领域中源语言编辑对不同目标语言的交叉效应，通过将 ZsRE 从英文翻译成中文，构建大规模的跨语言合成数据集，对不同范式的知识编辑方法进行英文和中文的编辑，并评估其在不同方面的性能。进一步分析编辑模型的不一致行为并讨论其挑战。

Sep, 2023