使用大型语言模型作为知识库的潜力引起了广泛关注。为了管理 LLMs 所获取的知识，我们需要确保学到的事实的编辑尊重内部逻辑约束，即被称为知识依赖性。然而，现有的 LLMs 编辑工作在处理一个事实与其逻辑蕴含之间的依赖关系时存在局限性。我们提出了一个评估协议和一个问答数据集 DepEdit，它提供了一个全面的评估编辑过程的依赖关系。我们的协议通过建立一个受控环境，在该环境中编辑事实并监测其对 LLMs 的影响以及基于 If-Then 规则的相关逻辑蕴含。对 DepEdit 的广泛实验表明，现有的知识编辑方法对知识的表面形式敏感，并且在推断编辑事实的逻辑蕴含方面表现受限。

Dec, 2023

本文旨在探索对大型语言模型进行知识编辑可能带来的潜在问题，并提出了基准数据集和创新评估指标来研究这些问题。实验结果显示，知识编辑可能意外产生对大型语言模型的意想不到的后果，因此需要引起关注并进行进一步研究。

Oct, 2023

大语言模型知识编辑的挑战在于不同类型的知识以及层次关系对编辑效果的影响。本研究通过量化知识的困惑度并评估编辑方法的效果，发现新知识的困惑度与编辑效果存在负相关。进一步研究发现，抽象概念更困惑，而层次关系对编辑结果有影响。研究提供了更深入的大语言模型编辑挑战以及未来模型编辑的启示。

Jun, 2024

评估大型语言模型的知识编辑能力和知识迁移效果的新基准 Eva-KELLM，采用原始文档进行知识编辑，从多个角度评估其效果，研究发现当前使用原始文档进行知识编辑的方法在处理修改后的知识以及跨语言知识迁移时效果不佳。

Aug, 2023

该论文提出了一种用于评估和缓解大型语言模型编辑中的涟漪效应的方法，通过引入 GORA 和 SORA 方法，实现了对模型编辑的量化评估，有效解决了当前模型编辑方法中存在的隐藏空间涟漪效应问题，推进了大型语言模型编辑技术的发展。

Mar, 2024

模型编辑的影响、用困惑度作为衡量指标、顺序编辑和困难案例的研究，以及开发 HardCF 数据集探索模型编辑的潜在风险。

Feb, 2024

本文旨在研究知识编辑领域中源语言编辑对不同目标语言的交叉效应，通过将 ZsRE 从英文翻译成中文，构建大规模的跨语言合成数据集，对不同范式的知识编辑方法进行英文和中文的编辑，并评估其在不同方面的性能。进一步分析编辑模型的不一致行为并讨论其挑战。

Sep, 2023

本文介绍 KnowledgeEditor 一种方法，用于编辑语言模型中的知识，以修复 “错误” 或意外预测，且不需要重新训练或以元学习为前提条件。作者使用受约束的优化来训练一个超网络，该超网络可预测权重更新。作者展示了 KnowledgeEditor 的有效性，其支持两种流行的体系结构和知识密集型任务：一种是针对事实核对进行细微调整的 BERT 模型，另一种是适用于问答的序列到序列 BART 模型。

Apr, 2021

本文探讨了在大型语言模型中注入新事实的技术，并提出了一个包含多跳问题的基准测试 MQuAKE，旨在评估修改后的模型是否能够正确回答受编辑事实影响的问题。我们提出了一个名为 MeLLo 的基于记忆的方法，存储所有编辑过的事实，并提示语言模型根据编辑后的事实迭代生成与之一致的答案。MeLLo 在大型语言模型（高达 175B）中具有良好的可扩展性和超过以往模型编辑器的性能。

May, 2023

知识编辑是一种有效更新大型语言模型中的实际知识而最小化参数改动的新兴技术。然而，近期研究发现一些令人担忧的副作用，如知识扭曲和综合能力下降，这在编辑后产生了。本调查综合研究了这些副作用，提供了一个统一的观点，对于 LLMs 中的知识编辑所面临的挑战进行了讨论。我们讨论了相关工作，并总结了克服这些限制的潜在研究方向。我们的工作强调了当前知识编辑方法的限制，强调了对 LLMs 内部知识结构的更深入理解和改进的知识编辑方法的需求。为促进未来研究，我们已公开发布了补充材料，如论文集，网址为 https URL。

Jun, 2024