大型语言模型的概念知识编辑

Mar, 2024

Editing Conceptual Knowledge for Large Language Models

Xiaohan Wang, Shengyu Mao, Ningyu Zhang, Shumin Deng, Yunzhi Yao...

TL;DR该论文探索了在大型语言模型中编辑概念性知识的能力，通过构建一个新的基准数据集 ConceptEdit 和建立一套新的度量标准来评估现有的编辑方法。实验结果表明，虽然现有的编辑方法在某种程度上能有效地修改概念级别的定义，但也有可能扭曲大型语言模型中相关的实例化知识，导致性能下降。这对于更好地理解大型语言模型的能力具有启发意义。

Abstract

Recently, there has been a growing interest in knowledge editing for Large Language Models (LLMs). Current approaches and evaluations merely explore the instance-level editing, while whether LLMs possess the capability to modify concepts remains unclear. This paper pioneers the investi

knowledge editing large language models conceptual knowledge benchmark dataset editing methods

发现论文，激发创造

大型语言模型的知识编辑综合研究

大型语言模型 (Large Language Models) 在理解和生成与人类交流非常相似的文本方面表现出非凡的能力。然而，由于其广泛的参数化，训练过程中存在重大的计算需求限制。这种挑战由于世界的动态性而进一步加剧，需要经常更新 LLM 以纠正过时的信息或整合新知识，从而确保它们持续具有相关性。近年来，对于即时修改模型的高效轻量级方法引起了越来越多的关注。本文首先定义了知识编辑问题，然后提供了对最前沿方法的全面回顾。在教育和认知研究理论的启发下，我们提出了一个统一的分类准则，将知识编辑方法分为三类：利用外部知识、将知识合并到模型中以及编辑内在知识。此外，我们引入了一个新的基准 KnowEdit，以对代表性的知识编辑方法进行综合实证评估。此外，我们对知识定位进行了深入分析，从而更深入地了解 LLM 固有的知识结构。最后，我们讨论了知识编辑的几个潜在应用，并概述了它的广泛而有影响力的意义。

Jan, 2024

编辑巨人的思维：关于大型语言模型知识编辑陷阱的深度探索

知识编辑是一种有效更新大型语言模型中的实际知识而最小化参数改动的新兴技术。然而，近期研究发现一些令人担忧的副作用，如知识扭曲和综合能力下降，这在编辑后产生了。本调查综合研究了这些副作用，提供了一个统一的观点，对于 LLMs 中的知识编辑所面临的挑战进行了讨论。我们讨论了相关工作，并总结了克服这些限制的潜在研究方向。我们的工作强调了当前知识编辑方法的限制，强调了对 LLMs 内部知识结构的更深入理解和改进的知识编辑方法的需求。为促进未来研究，我们已公开发布了补充材料，如论文集，网址为 https URL。

Jun, 2024

EasyEdit: 适用于大型语言模型的易于使用的知识编辑框架

大型语言模型（LLMs）通常存在知识截断或谬误问题，为解决此问题，我们提出了 EasyEdit，一个易于使用的 LLMs 知识编辑框架，它支持各种前沿的知识编辑方法，并在可靠性和推广性方面超过了传统微调。

Aug, 2023

大型语言模型知识编辑的陷阱揭示

本文旨在探索对大型语言模型进行知识编辑可能带来的潜在问题，并提出了基准数据集和创新评估指标来研究这些问题。实验结果显示，知识编辑可能意外产生对大型语言模型的意想不到的后果，因此需要引起关注并进行进一步研究。

Oct, 2023

大型语言模型编辑：问题、方法和机遇

本研究旨在探讨大型语言模型的编辑问题，提出当前最先进的编辑方法并构建了一个新的基准数据集进行实证分析，从而为研究社区在选择适用于特定任务或上下文的最合适的方法时提供有价值的见解。

May, 2023

Eva-KELLM: 一个用于评估 LLMs 的知识编辑的新基准

评估大型语言模型的知识编辑能力和知识迁移效果的新基准 Eva-KELLM，采用原始文档进行知识编辑，从多个角度评估其效果，研究发现当前使用原始文档进行知识编辑的方法在处理修改后的知识以及跨语言知识迁移时效果不佳。

Aug, 2023

学习编辑：将语言模型与知识编辑对齐

知识编辑技术在大型语言模型中的应用及性能表现。

Feb, 2024

知识图谱增强的大型语言模型编辑

利用知识图谱提升大型语言模型的编辑能力，通过图结构反映编辑过程中的关联知识变化，有效改善后编辑语言模型在处理编辑知识时的泛化能力。

Feb, 2024

大型语言模型中的跨语言知识编辑

本文旨在研究知识编辑领域中源语言编辑对不同目标语言的交叉效应，通过将 ZsRE 从英文翻译成中文，构建大规模的跨语言合成数据集，对不同范式的知识编辑方法进行英文和中文的编辑，并评估其在不同方面的性能。进一步分析编辑模型的不一致行为并讨论其挑战。

Sep, 2023

知识编辑方法如何有效编辑让人困惑的知识？

大语言模型知识编辑的挑战在于不同类型的知识以及层次关系对编辑效果的影响。本研究通过量化知识的困惑度并评估编辑方法的效果，发现新知识的困惑度与编辑效果存在负相关。进一步研究发现，抽象概念更困惑，而层次关系对编辑结果有影响。研究提供了更深入的大语言模型编辑挑战以及未来模型编辑的启示。

Jun, 2024