该论文提出了一种新颖的信息化机器学习方法，建议在先前的知识上进行预训练，这可以加快学习过程，提高泛化能力，增加模型的鲁棒性，并且可以将语义知识转移至深层次特征。

May, 2022

本文调查了通过神经网络构建模型时如何加入领域知识，提供两种编码这种知识的方法，并描述了在每个方法的几个子类别中获得的技术和结果。

Feb, 2021

对于实现对抗性防御、可解释的人工智能（XAI）和零样本或少样本学习，我们回顾了当前和新兴的知识驱动和启发式认知系统。数据驱动的深度学习模型在许多应用中取得了卓越的性能，并展示了超过人类专家的能力。然而，它们无法利用领域知识导致在实际应用中存在严重的性能限制。特别是，深度学习系统容易受到对抗性攻击，这可能导致明显错误的决策。此外，复杂的数据驱动模型通常缺乏可解释性，即它们的决策无法被人类理解。此外，模型通常在具有封闭世界假设的标准数据集上进行训练。因此，在实际的开放环境推理过程中，它们很难推广到未见情况，从而引发了零样本学习问题。虽然存在许多常规解决方案，但明确的领域知识、启发式神经网络和认知架构为缓解这些问题提供了强大的新维度。先前的知识以适当的形式表示，并结合在深度学习框架中，以提高性能。受大脑启发的认知方法使用模仿人类思维的计算模型来增强人工智能代理和自主机器人的智能行为。最终，这些模型实现了更好的可解释性、更高的对抗稳健性和数据有效学习，从而能够深入了解认知科学和神经科学，进一步加深对人脑一般工作原理以及它如何处理这些问题的理解。

Mar, 2024

通过在神经网络中引入先前的信息，我们能够在失败的机器学习算法无法学习的情况下解决任务。在这项研究中，我们通过对 64x64 的二进制图像数据集进行训练，使用一个两层 MLP 体系结构学习任务，其中包括以先前的中间阶段作为监督的中间级概念，从而获得可靠的正面证据来支持我们的假设。

Jan, 2013

本文提出了一种以先验知识为主要建模对象的知识表示框架，并设计了一种稀疏重编码惩罚，以约束学生网络的学习，从而在知识蒸馏过程中避免过度正则化和更快地收敛。实验表明，该框架即使目标网络的表示能力不如期望，仍然实现了最先进的性能表现，并且灵活易于与基于后验知识的其他知识蒸馏方法结合使用。

Nov, 2019

本研究介绍一个三级知识集成机器学习方法，在工程领域平衡整体主义和还原主义的视角，以在数据驱动的过程中转移和利用领域知识。

Jul, 2023

本文综述了知识增强深度学习 (KADL) 的概念及其三个主要任务：知识识别，知识表达和知识整合，并提供了一种基于广泛和完整的领域知识分类法的系统回顾。在这份综述中，我们提供了现有技术的系统性审查，并提供了未来研究方向的方向。

Nov, 2022

该研究总结和分析了现有文献，确定了研究空白和未来机遇。知识嵌入和知识发现是整合知识和数据的两种重要方法，结合知识嵌入和知识发现形成一个闭环的知识生成和使用，可以提高模型的鲁棒性和准确性，并发现之前未知的科学原理。

Feb, 2022

在人工智能发展的三个阶段中，手工知识和数据驱动成为前两个阶段的关键，但现在的第三个阶段中，知识得到了全面的应用，使得 AI 系统更加具有人类智能化的思维，包括结合数据和符号 AI 系统的能力，以获得更高层次的人工智能。

Mar, 2021

本文介绍深度学习中的迁移学习，包含核心原理和方法、面临的基本问题、未解决的问题以及工具库和基准测试等方面的内容。

Jan, 2022