EVEDIT：基于事件的知识编辑与演绎编辑边界
知识编辑通过在大型语言模型中更新知识来防止其过时。本文提出一种新的任务设置：事件级别知识编辑，通过将新事件直接编辑到大型语言模型中来改进传统的三元组级别编辑。我们构建了一个高质量的事件级别编辑基准 ELKEN，其中包括 1,515 个事件编辑、6,449 个关于事实知识的问题和 10,150 个关于未来趋势的问题。我们系统评估了各种知识编辑方法和大型语言模型在这个基准上的性能，并发现 ELKEN 对现有知识编辑方法提出了显著挑战。我们的代码和数据集已公开发布，以促进进一步的研究。
Feb, 2024
该研究构建了一个名为 RaKE 的基准，专注于基于关系的知识编辑，并通过创新的评估指标和全面的实验研究，确认了关系在事实三元组中的作用，为未来的基于关系的知识编辑方法提供了实验支持。
Nov, 2023
我们提出了一种新的知识编辑视角，称之为基于约束的解码，在大型语言模型中进行。我们提出了 DeepEdit（一种基于深度优先搜索的渐进解码知识编辑的神经符号方法），该方法通过更好的推理连贯性、与问题的相关性以及对更新知识的认知来提高知识编辑。DeepEdit 可以灵活应用于所有黑盒语言模型，不需要访问模型参数、表示或输出词汇分布。DeepEdit 逐步产生高质量的推理步骤，以实现有效的知识编辑。它利用深度优先搜索来修订语言模型的输出，从而提高对输入问题的信息量和对更新知识的认知。在定性上，DeepEdit 能够有效控制语言模型，以更简洁的推理方式进行知识编辑。在定量上，DeepEdit 在具有知识编辑任务的挑战性多跳问答数据集 MQuaKE 上取得了显著的性能提升。我们在此 https URL 上发布了源代码。
Jan, 2024
通过知识增强而非知识定位，我们引入了一种名为 StableKE 的方法，它包括语义改写增强策略和上下文描述丰富策略，可以编辑 ChatGPT 中的知识，并且展示了对编辑后的知识和多跳知识的稳定性，同时保留了不相关的知识和通用功能。
Feb, 2024
知识编辑目标是将知识更新注入语言模型中以保持其正确性和最新性。然而，当前的评估策略明显不实用：它们仅以精心策划的结构化事实（包含主语、关系和宾语的三元组）进行更新，而真实世界的知识更新通常出现在无结构的文本中，如新闻文章。本文提出一个新的基准，无结构知识编辑（Unstructured Knowledge Editing，简称 UKE），直接使用无结构的文本作为知识更新进行编辑性能评估，从而避免了繁琐的结构化事实构建，并实现了高效和响应性的知识编辑，成为一个更实用的基准。我们在新构建的数据集上进行了广泛的实验，并证明 UKE 对于最先进的知识编辑方法构成了重大挑战，导致它们的性能显著下降。我们进一步展示，即使将三元组提取为结构化事实，这个挑战仍然存在。我们的分析揭示了激励未来 UKE 研究的关键见解，以实现更实用的知识编辑。
Feb, 2024
大型语言模型 (Large Language Models) 在理解和生成与人类交流非常相似的文本方面表现出非凡的能力。然而，由于其广泛的参数化，训练过程中存在重大的计算需求限制。这种挑战由于世界的动态性而进一步加剧，需要经常更新 LLM 以纠正过时的信息或整合新知识，从而确保它们持续具有相关性。近年来，对于即时修改模型的高效轻量级方法引起了越来越多的关注。本文首先定义了知识编辑问题，然后提供了对最前沿方法的全面回顾。在教育和认知研究理论的启发下，我们提出了一个统一的分类准则，将知识编辑方法分为三类：利用外部知识、将知识合并到模型中以及编辑内在知识。此外，我们引入了一个新的基准 KnowEdit，以对代表性的知识编辑方法进行综合实证评估。此外，我们对知识定位进行了深入分析，从而更深入地了解 LLM 固有的知识结构。最后，我们讨论了知识编辑的几个潜在应用，并概述了它的广泛而有影响力的意义。
Jan, 2024
大型语言模型（LLMs）通常存在知识截断或谬误问题，为解决此问题，我们提出了 EasyEdit，一个易于使用的 LLMs 知识编辑框架，它支持各种前沿的知识编辑方法，并在可靠性和推广性方面超过了传统微调。
Aug, 2023
本文介绍 KnowledgeEditor 一种方法，用于编辑语言模型中的知识，以修复 “错误” 或意外预测，且不需要重新训练或以元学习为前提条件。作者使用受约束的优化来训练一个超网络，该超网络可预测权重更新。作者展示了 KnowledgeEditor 的有效性，其支持两种流行的体系结构和知识密集型任务：一种是针对事实核对进行细微调整的 BERT 模型，另一种是适用于问答的序列到序列 BART 模型。
Apr, 2021
本研究提出了一种新的任务，即在不影响其余表现的情况下编辑语言模型 KG 基础嵌入，并构建了四个新数据集来评估多个知识编辑基线和一种名为 KGEditor 的新方法，其利用超级网络的其他参数层来编辑和添加事实，实验结果表明 KGEditor 可以在具有低训练资源但需要更新特定事实的情况下表现更好。
Jan, 2023
使用大型语言模型作为知识库的潜力引起了广泛关注。为了管理 LLMs 所获取的知识，我们需要确保学到的事实的编辑尊重内部逻辑约束，即被称为知识依赖性。然而，现有的 LLMs 编辑工作在处理一个事实与其逻辑蕴含之间的依赖关系时存在局限性。我们提出了一个评估协议和一个问答数据集 DepEdit，它提供了一个全面的评估编辑过程的依赖关系。我们的协议通过建立一个受控环境，在该环境中编辑事实并监测其对 LLMs 的影响以及基于 If-Then 规则的相关逻辑蕴含。对 DepEdit 的广泛实验表明，现有的知识编辑方法对知识的表面形式敏感，并且在推断编辑事实的逻辑蕴含方面表现受限。
Dec, 2023