多语言知识编辑通过检索增强的方式，有效地更新大型语言模型中的新知识，较传统的微调方法具有更高性能和多语言适用性。

Dec, 2023

本文旨在研究知识编辑领域中源语言编辑对不同目标语言的交叉效应，通过将 ZsRE 从英文翻译成中文，构建大规模的跨语言合成数据集，对不同范式的知识编辑方法进行英文和中文的编辑，并评估其在不同方面的性能。进一步分析编辑模型的不一致行为并讨论其挑战。

Sep, 2023

本文探讨了在大型语言模型中注入新事实的技术，并提出了一个包含多跳问题的基准测试 MQuAKE，旨在评估修改后的模型是否能够正确回答受编辑事实影响的问题。我们提出了一个名为 MeLLo 的基于记忆的方法，存储所有编辑过的事实，并提示语言模型根据编辑后的事实迭代生成与之一致的答案。MeLLo 在大型语言模型（高达 175B）中具有良好的可扩展性和超过以往模型编辑器的性能。

May, 2023

以 53 种不同的语言为基础，评估跨语言知识编辑的 BMIKE-53 基准的多语言上下文知识编辑（MIKE）方法，提供了关于可靠性、普适性、局部性和可移植性的重要见解和框架，为跨语言知识编辑的未来研究奠定了基础。

Jun, 2024

评估大型语言模型的知识编辑能力和知识迁移效果的新基准 Eva-KELLM，采用原始文档进行知识编辑，从多个角度评估其效果，研究发现当前使用原始文档进行知识编辑的方法在处理修改后的知识以及跨语言知识迁移时效果不佳。

Aug, 2023

多语言知识编辑涉及通过神经元屏蔽、低秩适应等方法，在多语言语言模型中进行跨语言更新，以提高编辑精度和多跳推理能力。

Jun, 2024

大型语言模型 (Large Language Models) 在理解和生成与人类交流非常相似的文本方面表现出非凡的能力。然而，由于其广泛的参数化，训练过程中存在重大的计算需求限制。这种挑战由于世界的动态性而进一步加剧，需要经常更新 LLM 以纠正过时的信息或整合新知识，从而确保它们持续具有相关性。近年来，对于即时修改模型的高效轻量级方法引起了越来越多的关注。本文首先定义了知识编辑问题，然后提供了对最前沿方法的全面回顾。在教育和认知研究理论的启发下，我们提出了一个统一的分类准则，将知识编辑方法分为三类：利用外部知识、将知识合并到模型中以及编辑内在知识。此外，我们引入了一个新的基准 KnowEdit，以对代表性的知识编辑方法进行综合实证评估。此外，我们对知识定位进行了深入分析，从而更深入地了解 LLM 固有的知识结构。最后，我们讨论了知识编辑的几个潜在应用，并概述了它的广泛而有影响力的意义。

Jan, 2024

该论文探索了在大型语言模型中编辑概念性知识的能力，通过构建一个新的基准数据集 ConceptEdit 和建立一套新的度量标准来评估现有的编辑方法。实验结果表明，虽然现有的编辑方法在某种程度上能有效地修改概念级别的定义，但也有可能扭曲大型语言模型中相关的实例化知识，导致性能下降。这对于更好地理解大型语言模型的能力具有启发意义。

Mar, 2024

多语种知识编辑 (MKE) 旨在同时修订大型语言模型 (LLMs) 中的事实知识。我们研究了 LLMs 如何表示多语种事实知识，并发现不同语言中的相同事实知识通常激活一组共享的神经元，我们称之为语言不可知事实神经元。基于此发现，我们提出了一种通过定位和修改语言不可知事实神经元来同时编辑多语种知识的新方法。在 Bi-ZsRE 和 MzsRE 基准上的实验结果表明，我们的方法优于现有的 MKE 方法，并取得了显著的编辑性能，表明考虑多语种知识之间的语义连接的重要性。

Jun, 2024

多模态大型语言模型 (MLLMs) 存在非事实或过时知识问题，通过将多模态知识分解为其视觉和文本组成部分，我们提出了 MC-MKE，一个注重模态一致性的细粒度多模态知识编辑基准，评估了三种多模态知识编辑方法在 MC-MKE 上的性能，并揭示了它们在模态一致性方面的局限性。我们的工作强调了多模态知识编辑所面临的挑战，并激励进一步的研究以开发有效的技术来解决这个任务。

Jun, 2024