深度神经网络在学术界和工业界越来越普遍，在各个领域和相关任务上与人类的表现相媲美甚至超越。然而，即使是最大的人工神经网络也会出错，随着时间的推移，曾经正确的预测可能会失效。通过在数据集中增加考虑错误或最新信息的样本，可以解决这个问题。然而，灾难性遗忘现象对于改变神经网络参数中的隐性记忆知识以达到精确变化提出了挑战，通常需要重新训练整个模型才能实现所需的行为。这种方法昂贵、不可靠，并且与大规模自监督预训练的现行趋势不兼容，因此有必要找到更高效和有效的方法来适应变化的数据。为了满足这个需求，知识编辑作为一个新颖的研究领域正在兴起，旨在实现对预训练目标模型的可靠、数据高效和快速的变化，而不影响先前学到的任务上的模型行为。在本综述中，我们对这个最新的人工智能研究领域进行了简要回顾。首先，我们介绍了神经网络编辑的问题，在一个共同框架中对其进行了形式化，并将其与连续学习等更有名的研究分支进行了区分。接下来，我们对迄今为止提出的最相关的知识编辑方法和数据集进行了回顾，并将这些工作分为四个不同的类别：正则化技术、元学习、直接模型编辑和架构策略。最后，我们概述了与其他研究领域的一些交叉点和未来的潜在方向。

Oct, 2023

本研究提出了一种名为 Evolver 的知识融合方法，它可以将不同语言模型的权重进行集成，通过进化算法生成新的模型并与父模型进行评估，达到在不同数据领域通用且性能优越的目的，这种方法与现有模型合并框架无缝集成，为模型增强提供了一种多功能工具。

Jun, 2024

该论文提出了一种利用知识蒸馏的方法来训练具有有限训练数据的神经网络的技术，该方法引入了一些新的 pseudo training examples，通过这些伪样本更好地优化了模型参数。实验结果表明，与传统的基线和知识蒸馏方法相比，该方法表现出更好的性能。

Feb, 2018

本研究介绍了一种名为 KENN 的神经符号一体化框架，其将先前的逻辑知识注入神经网络。通过增加一个残差层来修改初始预测，这种方法的优点之一是包含条款权重，这些可学习参数表示条款的强度和影响。本研究的扩展版本更适用于关系数据，并在实验中验证了其有效性和可扩展性。

May, 2022

本研究旨在通过使用卷积操作增强 Transformer 的局部上下文建模能力，提出一种进化神经架构搜索方法来自动选择输入特征，并自动确定何时应用哪种操作以实现局部 / 全局上下文建模的平衡，实验结果表明该方法能有效地找到最优体系结构。

Oct, 2023

本文提出了一种新颖的深度进化知识网络，其可在动态知识图中学习非线性演变的实体表示，并通过多元点过程和基于学习实体嵌入的评分来建模事实（边）的发生。我们的方法在现实世界的两个大规模数据集上比各种关系学习方法都具有显著的性能改进；此外，我们的方法有效地预测事实的发生或再次发生时间，这是多关系推理方法中的一种新颖方法。

May, 2017

通过知识整合和获取（CKCA）算法，我们提出了适用于深度学习应用的连续模型改进方法，旨在在不损害先前知识的前提下，更好地适应新数据，并采用两个新组件：特征规范化（FeatReg）和自适应知识蒸馏（AdaKD）。在 ImageNet 数据集上的实验中，我们的方法相比于传统的热启动方法，取得了高达 8.39% 的高准确度提升，并始终以较大的优势胜过先前应用的方法。

Jun, 2024

本文提出了一种新颖的知识融合架构，Knowledge Enhanced Neural Network (KENN)，用于时间序列预测，旨在将知识和数据领域的优势相结合，减少整体框架对数据的依赖性，提高性能并将其与现有方法进行比较。

Feb, 2022

本篇论文探讨神经进化在深度学习中的作用，其中 HyperNeat 通过训练一种间接编码来实现学习大型神经结构，并且结合其他机器学习方法可以有效提取特征。

Dec, 2013

提出了一种名为 UnKE 的新型非结构化知识编辑方法，通过在层次和标记维度进行扩展，实现了对复杂和全面的非结构化知识的有效表示和编辑，取得了显著的性能提升。

May, 2024