该研究对深度学习在隐喻识别任务中的知识注入应用进行了全面的综述和总结，包括主流知识和知识注入原则、数据集、评估指标和基准模型，并探讨了当前知识注入方法面临的问题和未来研究方向。

Aug, 2023

本文介绍了一种使用结构化先验知识的方法，包括知识图谱和图搜索神经网络，以在图像分类流程中有效地融入大型知识图谱，并在多标签分类方面优于标准神经网络基线。

Dec, 2016

本文调查了通过神经网络构建模型时如何加入领域知识，提供两种编码这种知识的方法，并描述了在每个方法的几个子类别中获得的技术和结果。

Feb, 2021

对于实现对抗性防御、可解释的人工智能（XAI）和零样本或少样本学习，我们回顾了当前和新兴的知识驱动和启发式认知系统。数据驱动的深度学习模型在许多应用中取得了卓越的性能，并展示了超过人类专家的能力。然而，它们无法利用领域知识导致在实际应用中存在严重的性能限制。特别是，深度学习系统容易受到对抗性攻击，这可能导致明显错误的决策。此外，复杂的数据驱动模型通常缺乏可解释性，即它们的决策无法被人类理解。此外，模型通常在具有封闭世界假设的标准数据集上进行训练。因此，在实际的开放环境推理过程中，它们很难推广到未见情况，从而引发了零样本学习问题。虽然存在许多常规解决方案，但明确的领域知识、启发式神经网络和认知架构为缓解这些问题提供了强大的新维度。先前的知识以适当的形式表示，并结合在深度学习框架中，以提高性能。受大脑启发的认知方法使用模仿人类思维的计算模型来增强人工智能代理和自主机器人的智能行为。最终，这些模型实现了更好的可解释性、更高的对抗稳健性和数据有效学习，从而能够深入了解认知科学和神经科学，进一步加深对人脑一般工作原理以及它如何处理这些问题的理解。

Mar, 2024

本文着重介绍了如何应用知识蒸馏技术来处理增量学习的语义分割问题。经过在 Pascal VOC2012 和 MSRC-v2 数据集上的实验，该方法在多个增量学习场景中表现出显著的有效性。

Nov, 2019

通过引入外部知识和核心概念，我们提出了一种新颖的知识感知神经元解释框架，用于解释图像场景分类模型的预测结果。我们的方法相比基线模型在解释性能上提供了更好的预测解释，并且核心概念能够有效地改善原始模型的性能。

Jan, 2024

本文提出了一种新颖的技术，通过利用人类描述中蕴含的丰富语义信息来提高深度神经网络的可解释性，特别是在视频字幕任务中，通过一个可解释损失将人类描述中的一组语义相关主题集成到模型中，并提出了一种预测差异最大化算法来解释每个神经元的学习特征。实验结果表明这种方法在视频字幕和视频动作识别方面非常有效。

Mar, 2017

本文提出一种深度监督方法，通过利用中间概念对 CNN 的隐藏层进行监督，将先前的领域结构融入到神经网络训练中，显著提高了推广能力。该方法还可以仅使用合成场景来训练，并在实际图像上取得了 2D/3D 关键点本地化和图像分类的最新性能。

Jan, 2018

深度神经网络在学术界和工业界越来越普遍，在各个领域和相关任务上与人类的表现相媲美甚至超越。然而，即使是最大的人工神经网络也会出错，随着时间的推移，曾经正确的预测可能会失效。通过在数据集中增加考虑错误或最新信息的样本，可以解决这个问题。然而，灾难性遗忘现象对于改变神经网络参数中的隐性记忆知识以达到精确变化提出了挑战，通常需要重新训练整个模型才能实现所需的行为。这种方法昂贵、不可靠，并且与大规模自监督预训练的现行趋势不兼容，因此有必要找到更高效和有效的方法来适应变化的数据。为了满足这个需求，知识编辑作为一个新颖的研究领域正在兴起，旨在实现对预训练目标模型的可靠、数据高效和快速的变化，而不影响先前学到的任务上的模型行为。在本综述中，我们对这个最新的人工智能研究领域进行了简要回顾。首先，我们介绍了神经网络编辑的问题，在一个共同框架中对其进行了形式化，并将其与连续学习等更有名的研究分支进行了区分。接下来，我们对迄今为止提出的最相关的知识编辑方法和数据集进行了回顾，并将这些工作分为四个不同的类别：正则化技术、元学习、直接模型编辑和架构策略。最后，我们概述了与其他研究领域的一些交叉点和未来的潜在方向。

Oct, 2023

本文通过使用外部高容量存储器存储图像特征映射、标签和原始图像的知识，而不是显式存储在模型参数中，来避免增量学习中的灾难性遗忘，并引入 k - 最近邻分类器对其进行分析，实现了在不微调模型参数的前提下，ImageNet 数据集上的 79.8％的 top-1 准确度，以及 Split CIFAR-100 数据集中 90.8％的增量学习准确度。

Apr, 2022