知识编辑目标是将知识更新注入语言模型中以保持其正确性和最新性。然而，当前的评估策略明显不实用：它们仅以精心策划的结构化事实（包含主语、关系和宾语的三元组）进行更新，而真实世界的知识更新通常出现在无结构的文本中，如新闻文章。本文提出一个新的基准，无结构知识编辑（Unstructured Knowledge Editing，简称 UKE），直接使用无结构的文本作为知识更新进行编辑性能评估，从而避免了繁琐的结构化事实构建，并实现了高效和响应性的知识编辑，成为一个更实用的基准。我们在新构建的数据集上进行了广泛的实验，并证明 UKE 对于最先进的知识编辑方法构成了重大挑战，导致它们的性能显著下降。我们进一步展示，即使将三元组提取为结构化事实，这个挑战仍然存在。我们的分析揭示了激励未来 UKE 研究的关键见解，以实现更实用的知识编辑。

Feb, 2024

通过知识增强而非知识定位，我们引入了一种名为 StableKE 的方法，它包括语义改写增强策略和上下文描述丰富策略，可以编辑 ChatGPT 中的知识，并且展示了对编辑后的知识和多跳知识的稳定性，同时保留了不相关的知识和通用功能。

Feb, 2024

知识编辑致力于在大型语言模型（LLMs）中纠正过时或错误的知识，无需昂贵的重新训练。然而，当前的知识编辑方法主要集中在单一编辑上，无法满足终身编辑的要求。本文揭示了终身编辑中知识编辑遇到的性能退化问题，其特征是毒性堆积和毒性闪现，主要原因是模式不匹配。我们引入了一种名为 WilKE 的知识编辑方法，它根据跨不同层的编辑知识的模式匹配度来选择编辑层。实验结果表明，在终身编辑中，WilKE 相对于最先进的知识编辑方法，在编辑 GPT2-XL 和 GPT-J 上平均改进了 46.2％和 67.8％。

Feb, 2024

通过研究发现，Parameter-Efficient Fine-Tuning (PEFT) 技术相较于定位和编辑方法，在时效性知识编辑方面表现更优，从而为大型语言模型的更新提供了一种替代方案。

Jun, 2024

该研究构建了一个名为 RaKE 的基准，专注于基于关系的知识编辑，并通过创新的评估指标和全面的实验研究，确认了关系在事实三元组中的作用，为未来的基于关系的知识编辑方法提供了实验支持。

Nov, 2023

大型语言模型 (Large Language Models) 在理解和生成与人类交流非常相似的文本方面表现出非凡的能力。然而，由于其广泛的参数化，训练过程中存在重大的计算需求限制。这种挑战由于世界的动态性而进一步加剧，需要经常更新 LLM 以纠正过时的信息或整合新知识，从而确保它们持续具有相关性。近年来，对于即时修改模型的高效轻量级方法引起了越来越多的关注。本文首先定义了知识编辑问题，然后提供了对最前沿方法的全面回顾。在教育和认知研究理论的启发下，我们提出了一个统一的分类准则，将知识编辑方法分为三类：利用外部知识、将知识合并到模型中以及编辑内在知识。此外，我们引入了一个新的基准 KnowEdit，以对代表性的知识编辑方法进行综合实证评估。此外，我们对知识定位进行了深入分析，从而更深入地了解 LLM 固有的知识结构。最后，我们讨论了知识编辑的几个潜在应用，并概述了它的广泛而有影响力的意义。

Jan, 2024

多语言知识编辑通过检索增强的方式，有效地更新大型语言模型中的新知识，较传统的微调方法具有更高性能和多语言适用性。

Dec, 2023

当前研究主要关注白盒大语言模型（LLMs）编辑，忽略了一个重要的场景：黑盒 LLMs 编辑，其中 LLMs 通过接口进行访问，仅有文本输出可用。为了解决现有评估不适用于黑盒 LLMs 编辑且不具备全面性的局限性，我们提出了一个多角度评估框架，首次加入了风格保留的评估。为了解决当前方法中的编辑数据隐私泄露和过度编辑风格的问题，我们引入了一种新的 postEdit 框架，通过下游后处理解决隐私问题，并通过细粒度编辑保持文本风格一致。两个基准实验和分析表明，postEdit 超过了所有对比基准并实现了强大的泛化性能，特别是在风格保留上获得了巨大的提升（平均提高了 20.82%）。

Feb, 2024

介绍了大型语言模型（LLMs）的计算成本问题以及知识模型编辑（KME）领域中的最新进展和分类技术，探讨了方法的洞见、优势、限制以及实际应用和挑战，并提出了未来研究方向。

Oct, 2023

多语言知识编辑涉及通过神经元屏蔽、低秩适应等方法，在多语言语言模型中进行跨语言更新，以提高编辑精度和多跳推理能力。

Jun, 2024