本文调查了通过神经网络构建模型时如何加入领域知识，提供两种编码这种知识的方法，并描述了在每个方法的几个子类别中获得的技术和结果。

Feb, 2021

本文综述了知识增强深度学习 (KADL) 的概念及其三个主要任务：知识识别，知识表达和知识整合，并提供了一种基于广泛和完整的领域知识分类法的系统回顾。在这份综述中，我们提供了现有技术的系统性审查，并提供了未来研究方向的方向。

Nov, 2022

本文综述了利用逻辑指定的背景知识以获取性能更好、学习数据更少或保证符合背景知识的神经模型的研究，并根据表达背景知识的逻辑语言和实现目标进行分类。

May, 2022

本篇论文提出了一种基于模型的域泛化方法，通过对数据生成过程和同变性条件的建模，将域泛化问题转化为一个无限维的有约束统计学习问题，并利用非凸对偶理论发展了有约束松弛的统计问题，提出了具有收敛保证的域泛化算法，并在 ColoredMNIST，Camelyon17-WILDS，FMoW-WILDS 和 PACS 等基准测试中取得了高达 30 个百分点的改进。

Feb, 2021

本文介绍了一项新的基准测试，共包含九个任务涵盖自然语言处理和计算机视觉等领域，该测试旨在系统评估外部知识约束整合方法的效果，通过一组扩展的评估标准分析各种模型的性能，为相关研究挑战提供了框架和指导。

Feb, 2023

提出一种基于领域知识的主动学习（KAL）框架，将基于规则的知识转化为逻辑约束，以唤起模型对样本的选择。实验证明，该方法在平均 F1 分数方面优于多种主动学习策略，特别是在领域知识丰富的情况下，同时也适用于物体识别任务，并且计算需求较低。

Oct, 2021

本文提出了一种基于领域知识和逻辑约束的多标签分类方法，可以在不使用攻击知识的情况下有效地检测出对抗样本。

Jun, 2020

本研究提出了一种新的神经网络监督方法，它通过指定输出空间上应该保持的约束条件来监督神经网络。这些约束条件是从先前的领域知识中派生出来的，并能够在真实世界和计算机仿真视觉任务中有效地训练卷积神经网络，减少了对已标注的训练数据的需求，但对正确编码先前的知识引入了新的挑战。

Sep, 2016

研究论文探讨领域约束如何限制对手的能力以及对手如何适应这些限制来创建现实的（符合约束的）对抗性示例。作者开发了从数据中学习领域约束的技术，并展示了如何将学习到的约束集成到对抗制作流程中。作者在网络入侵和网络钓鱼数据集上评估了该方法的功效，并发现：（1）最先进的制作算法产生的高达 82％ 的对抗性示例违反领域约束，（2）强制执行约束使模型精度提高了高达 34％。

May, 2021

对于实现对抗性防御、可解释的人工智能（XAI）和零样本或少样本学习，我们回顾了当前和新兴的知识驱动和启发式认知系统。数据驱动的深度学习模型在许多应用中取得了卓越的性能，并展示了超过人类专家的能力。然而，它们无法利用领域知识导致在实际应用中存在严重的性能限制。特别是，深度学习系统容易受到对抗性攻击，这可能导致明显错误的决策。此外，复杂的数据驱动模型通常缺乏可解释性，即它们的决策无法被人类理解。此外，模型通常在具有封闭世界假设的标准数据集上进行训练。因此，在实际的开放环境推理过程中，它们很难推广到未见情况，从而引发了零样本学习问题。虽然存在许多常规解决方案，但明确的领域知识、启发式神经网络和认知架构为缓解这些问题提供了强大的新维度。先前的知识以适当的形式表示，并结合在深度学习框架中，以提高性能。受大脑启发的认知方法使用模仿人类思维的计算模型来增强人工智能代理和自主机器人的智能行为。最终，这些模型实现了更好的可解释性、更高的对抗稳健性和数据有效学习，从而能够深入了解认知科学和神经科学，进一步加深对人脑一般工作原理以及它如何处理这些问题的理解。

Mar, 2024