神经网络知识编辑调查

Oct, 2023

A Survey on Knowledge Editing of Neural Networks

Vittorio Mazzia, Alessandro Pedrani, Andrea Caciolai, Kay Rottmann, Davide Bernardi

TL;DR深度神经网络在学术界和工业界越来越普遍，在各个领域和相关任务上与人类的表现相媲美甚至超越。然而，即使是最大的人工神经网络也会出错，随着时间的推移，曾经正确的预测可能会失效。通过在数据集中增加考虑错误或最新信息的样本，可以解决这个问题。然而，灾难性遗忘现象对于改变神经网络参数中的隐性记忆知识以达到精确变化提出了挑战，通常需要重新训练整个模型才能实现所需的行为。这种方法昂贵、不可靠，并且与大规模自监督预训练的现行趋势不兼容，因此有必要找到更高效和有效的方法来适应变化的数据。为了满足这个需求，知识编辑作为一个新颖的研究领域正在兴起，旨在实现对预训练目标模型的可靠、数据高效和快速的变化，而不影响先前学到的任务上的模型行为。在本综述中，我们对这个最新的人工智能研究领域进行了简要回顾。首先，我们介绍了神经网络编辑的问题，在一个共同框架中对其进行了形式化，并将其与连续学习等更有名的研究分支进行了区分。接下来，我们对迄今为止提出的最相关的知识编辑方法和数据集进行了回顾，并将这些工作分为四个不同的类别：正则化技术、元学习、直接模型编辑和架构策略。最后，我们概述了与其他研究领域的一些交叉点和未来的潜在方向。

Abstract

Deep neural networks are becoming increasingly pervasive in academia and industry, matching and surpassing human performance on a wide variety of fields and related tasks. However, just as humans, even the largest artificial neural networks make mistakes, and once-correct predictions c

neural networks catastrophic forgetting knowledge editing data-efficient model behaviors

发现论文，激发创造

可编辑神经网络

该研究探讨了神经网络的编辑问题，提出了 Editable Training，这是一种模型无关的训练技术，以便快速修补模型的错误，并在大规模图像分类和机器翻译任务中进行了实证研究。

Apr, 2020

大型语言模型的知识编辑综合研究

大型语言模型 (Large Language Models) 在理解和生成与人类交流非常相似的文本方面表现出非凡的能力。然而，由于其广泛的参数化，训练过程中存在重大的计算需求限制。这种挑战由于世界的动态性而进一步加剧，需要经常更新 LLM 以纠正过时的信息或整合新知识，从而确保它们持续具有相关性。近年来，对于即时修改模型的高效轻量级方法引起了越来越多的关注。本文首先定义了知识编辑问题，然后提供了对最前沿方法的全面回顾。在教育和认知研究理论的启发下，我们提出了一个统一的分类准则，将知识编辑方法分为三类：利用外部知识、将知识合并到模型中以及编辑内在知识。此外，我们引入了一个新的基准 KnowEdit，以对代表性的知识编辑方法进行综合实证评估。此外，我们对知识定位进行了深入分析，从而更深入地了解 LLM 固有的知识结构。最后，我们讨论了知识编辑的几个潜在应用，并概述了它的广泛而有影响力的意义。

Jan, 2024

编辑语言模型中的事实知识

本文介绍 KnowledgeEditor 一种方法，用于编辑语言模型中的知识，以修复 “错误” 或意外预测，且不需要重新训练或以元学习为前提条件。作者使用受约束的优化来训练一个超网络，该超网络可预测权重更新。作者展示了 KnowledgeEditor 的有效性，其支持两种流行的体系结构和知识密集型任务：一种是针对事实核对进行细微调整的 BERT 模型，另一种是适用于问答的序列到序列 BART 模型。

Apr, 2021

检测语言模型中的编辑知识

知识编辑技术可以更新语言模型从预训练中学到的过时或不准确的知识，我们通过引入一个新的任务来研究如何检测语言模型中的编辑知识，提出了一个简单的分类器 RepReg，它可以在有限的训练样本下实现接近最优的性能。

May, 2024

大规模基于记忆的模型编辑

介绍了一种基于 Semi-Parametric Editing with a Retrieval-Augmented Counterfactual Model (SERAC) 的模型编辑方法，具备内存高、编辑表达能力强的特点，能够高效地处理基于问答、事实核查和对话生成的 3 种具有挑战性的语言模型编辑问题。

Jun, 2022

编辑巨人的思维：关于大型语言模型知识编辑陷阱的深度探索

知识编辑是一种有效更新大型语言模型中的实际知识而最小化参数改动的新兴技术。然而，近期研究发现一些令人担忧的副作用，如知识扭曲和综合能力下降，这在编辑后产生了。本调查综合研究了这些副作用，提供了一个统一的观点，对于 LLMs 中的知识编辑所面临的挑战进行了讨论。我们讨论了相关工作，并总结了克服这些限制的潜在研究方向。我们的工作强调了当前知识编辑方法的限制，强调了对 LLMs 内部知识结构的更深入理解和改进的知识编辑方法的需求。为促进未来研究，我们已公开发布了补充材料，如论文集，网址为 https URL。

Jun, 2024

神经网络中的灾难性遗忘测量

本文介绍了 5 种减轻神经网络灾难性遗忘的机制（规则化，合成，彩排，双重记忆和稀疏编码）并提供了新的指标和基准来直接比较它们，实验结果表明，这些机制对于实现最佳性能而言是至关重要的，但难以完全解决灾难性遗忘问题。

Aug, 2017

学习表示编辑

本文研究分布式表征编辑的问题，并将神经编辑器与编辑编码器结合起来，可以学习表示编辑的重要信息，并用于将编辑应用于新输入。我们在自然语言和源代码编辑数据上进行实验，结果表明我们的神经网络模型学习捕捉了编辑的结构和语义。希望这个有趣的任务和数据源能够激发其他研究者进一步研究这一问题。

Oct, 2018

神经网络中的知识演化

提出了一种基于知识进化的训练方法，它通过将深度网络分成适配假设和重置假设来迭代进化知识，能够在相对较小的数据集上提高性能、学习较瘦的网络并减少推理成本，达到 21% 的绝对性能提升和 73% 的相对推理成本降低。

Mar, 2021

基于语言模型的知识图谱嵌入编辑

本研究提出了一种新的任务，即在不影响其余表现的情况下编辑语言模型 KG 基础嵌入，并构建了四个新数据集来评估多个知识编辑基线和一种名为 KGEditor 的新方法，其利用超级网络的其他参数层来编辑和添加事实，实验结果表明 KGEditor 可以在具有低训练资源但需要更新特定事实的情况下表现更好。

Jan, 2023