本文提出了适用于跨语言模型的模型编辑方法，使用平行语料库实现了单语言模型编辑方法的跨语言变体，并采用了语言各向异性编辑方法，实现了显着的编辑率下降。

May, 2022

大型语言模型 (Large Language Models) 在理解和生成与人类交流非常相似的文本方面表现出非凡的能力。然而，由于其广泛的参数化，训练过程中存在重大的计算需求限制。这种挑战由于世界的动态性而进一步加剧，需要经常更新 LLM 以纠正过时的信息或整合新知识，从而确保它们持续具有相关性。近年来，对于即时修改模型的高效轻量级方法引起了越来越多的关注。本文首先定义了知识编辑问题，然后提供了对最前沿方法的全面回顾。在教育和认知研究理论的启发下，我们提出了一个统一的分类准则，将知识编辑方法分为三类：利用外部知识、将知识合并到模型中以及编辑内在知识。此外，我们引入了一个新的基准 KnowEdit，以对代表性的知识编辑方法进行综合实证评估。此外，我们对知识定位进行了深入分析，从而更深入地了解 LLM 固有的知识结构。最后，我们讨论了知识编辑的几个潜在应用，并概述了它的广泛而有影响力的意义。

Jan, 2024

通过多个语言中的多跳推理和单跳问题，MLaKE（多语言语言知识编辑）评估了知识编辑方法在多语言环境下的适应性，发现现有方法在英语样本上表现较好，但在多语言实验中的泛化能力有限，强调了多语言知识编辑的发展需求。

Apr, 2024

在多语言的大型语言模型中，已有的模型编辑技术在跨语言的模型编辑范式下存在一定的性能限制，尤其是当涉及到不同语言脚本家族的语言时，需要进一步研究和发展跨语言模型编辑技术以应对这些挑战。

Jan, 2024

该研究通过考察多语境下的几种知识编辑技术，战略性地确定了语言平等的需求。我们评估了 Mistral、TowerInstruct、OpenHathi、Tamil-Llama 和 Kan-Llama 等模型在英语、德语、法语、意大利语、西班牙语、印地语、泰米尔语和卡纳达语等语言上的性能。研究发现了跨语言一致性方面正常模型和合并模型之间的显著差异。我们采用 “每种语言为自己”（ELFI）和 “每种语言为他人”（ELFO）等策略对这些模型进行了强化测试。研究结果表明，LMM 具有克服语言障碍的潜力，为实现人工智能技术中的语言包容性奠定了基础。

Jun, 2024

该论文探索了在大型语言模型中编辑概念性知识的能力，通过构建一个新的基准数据集 ConceptEdit 和建立一套新的度量标准来评估现有的编辑方法。实验结果表明，虽然现有的编辑方法在某种程度上能有效地修改概念级别的定义，但也有可能扭曲大型语言模型中相关的实例化知识，导致性能下降。这对于更好地理解大型语言模型的能力具有启发意义。

Mar, 2024

大型语言模型（LLMs）通常存在知识截断或谬误问题，为解决此问题，我们提出了 EasyEdit，一个易于使用的 LLMs 知识编辑框架，它支持各种前沿的知识编辑方法，并在可靠性和推广性方面超过了传统微调。

Aug, 2023

知识编辑是一种有效更新大型语言模型中的实际知识而最小化参数改动的新兴技术。然而，近期研究发现一些令人担忧的副作用，如知识扭曲和综合能力下降，这在编辑后产生了。本调查综合研究了这些副作用，提供了一个统一的观点，对于 LLMs 中的知识编辑所面临的挑战进行了讨论。我们讨论了相关工作，并总结了克服这些限制的潜在研究方向。我们的工作强调了当前知识编辑方法的限制，强调了对 LLMs 内部知识结构的更深入理解和改进的知识编辑方法的需求。为促进未来研究，我们已公开发布了补充材料，如论文集，网址为 https URL。

Jun, 2024

以 53 种不同的语言为基础，评估跨语言知识编辑的 BMIKE-53 基准的多语言上下文知识编辑（MIKE）方法，提供了关于可靠性、普适性、局部性和可移植性的重要见解和框架，为跨语言知识编辑的未来研究奠定了基础。

Jun, 2024

当前研究主要关注白盒大语言模型（LLMs）编辑，忽略了一个重要的场景：黑盒 LLMs 编辑，其中 LLMs 通过接口进行访问，仅有文本输出可用。为了解决现有评估不适用于黑盒 LLMs 编辑且不具备全面性的局限性，我们提出了一个多角度评估框架，首次加入了风格保留的评估。为了解决当前方法中的编辑数据隐私泄露和过度编辑风格的问题，我们引入了一种新的 postEdit 框架，通过下游后处理解决隐私问题，并通过细粒度编辑保持文本风格一致。两个基准实验和分析表明，postEdit 超过了所有对比基准并实现了强大的泛化性能，特别是在风格保留上获得了巨大的提升（平均提高了 20.82%）。

Feb, 2024