通过多个语言中的多跳推理和单跳问题,MLaKE(多语言语言知识编辑)评估了知识编辑方法在多语言环境下的适应性,发现现有方法在英语样本上表现较好,但在多语言实验中的泛化能力有限,强调了多语言知识编辑的发展需求。
Apr, 2024
多语言知识编辑通过检索增强的方式,有效地更新大型语言模型中的新知识,较传统的微调方法具有更高性能和多语言适用性。
Dec, 2023
多语种知识编辑 (MKE) 旨在同时修订大型语言模型 (LLMs) 中的事实知识。我们研究了 LLMs 如何表示多语种事实知识,并发现不同语言中的相同事实知识通常激活一组共享的神经元,我们称之为语言不可知事实神经元。基于此发现,我们提出了一种通过定位和修改语言不可知事实神经元来同时编辑多语种知识的新方法。在 Bi-ZsRE 和 MzsRE 基准上的实验结果表明,我们的方法优于现有的 MKE 方法,并取得了显著的编辑性能,表明考虑多语种知识之间的语义连接的重要性。
Jun, 2024
提出了一种简单而有效的方法,使用多语言修补神经元来存储跨语言知识,以提升现有方法的跨语言编辑能力,并在两个数据集上进行实验证明其在跨语言编辑任务中表现出了提高的性能。
Jan, 2024
介绍了大型语言模型(LLMs)的计算成本问题以及知识模型编辑(KME)领域中的最新进展和分类技术,探讨了方法的洞见、优势、限制以及实际应用和挑战,并提出了未来研究方向。
Oct, 2023
我们提出了一种基于神经元索引的动态 LoRA (MELO) 的插件模型编辑方法,通过根据内部向量数据库中的索引来动态激活特定的 LoRA 块,以改变语言模型的行为。实验结果表明,我们提出的 MELO 在文档分类、问答和幻觉修正等三个任务的编辑性能方面达到了最先进的水平,而且需要的可训练参数和计算成本最少。
评估大型语言模型的知识编辑能力和知识迁移效果的新基准 Eva-KELLM,采用原始文档进行知识编辑,从多个角度评估其效果,研究发现当前使用原始文档进行知识编辑的方法在处理修改后的知识以及跨语言知识迁移时效果不佳。
Aug, 2023
基于多模态知识图,本研究构建了一个新的基准评估 $ extbf {KEBench}$,并扩展了一种新的评估指标(可移植性),通过对五个大型视觉语言模型进行不同编辑方法的实验,深入分析这些方法对模型的影响,揭示了这些方法的优点和不足,为未来的研究提供了启示。
Mar, 2024
本文旨在研究知识编辑领域中源语言编辑对不同目标语言的交叉效应,通过将 ZsRE 从英文翻译成中文,构建大规模的跨语言合成数据集,对不同范式的知识编辑方法进行英文和中文的编辑,并评估其在不同方面的性能。进一步分析编辑模型的不一致行为并讨论其挑战。
Sep, 2023
以 53 种不同的语言为基础,评估跨语言知识编辑的 BMIKE-53 基准的多语言上下文知识编辑(MIKE)方法,提供了关于可靠性、普适性、局部性和可移植性的重要见解和框架,为跨语言知识编辑的未来研究奠定了基础。