提出了一种迭代自我语义知识蒸馏策略，以提高低维空间下知识图谱 (KGs) 中的知识图谱嵌入 (KGE) 模型表达能力，实现更好的链接预测。通过使用一种新颖的语义提取块，将迭代基于的语义信息提取到训练模型的自我蒸馏中，从而使低维模型具有更高的表达能力，且该策略不仅模型无关，而且可以与其他 KGE 模型无缝结合。在四个标准数据集上进行了实验验证，证明了该自我蒸馏策略的有效性和稳定性。

Jun, 2022

提出一种双重教导方法 DualDE，用于提高知识图谱嵌入的推理效率，通过软标签评估机制和两阶段蒸馏方法，可以将高维 KGE 减少 7-15 倍，推理速度提高 2-6 倍。

Sep, 2020

研究提出了一种基于分解的连续图表示学习框架 (DiCGRL)，可以有效地减轻连续学习中的灾难性遗忘问题并超越现有的连续学习模型。

Oct, 2020

本文提出一种名为 MorsE 的模型，该模型不学习实体的嵌入，而是学习可转移的元知识，以生成实体的嵌入，这种元知识由实体独立模块建模并通过元学习进行学习，在归纳设置下，该模型可以显着优于相应的基线模型，适用于知识图谱的内部和外部任务。

Oct, 2021

本文介绍了一种名为 CKGC-CKD 的新方法，通过使用关系感知图卷积网络编码模型在集成的知识图谱和各自的知识图谱上进行训练，以最大程度地利用来自不同知识图谱的集体知识，从而缓解了个体知识图谱的不完整性，并通过相互知识蒸馏机制来进行知识传递，在多语言数据集上取得了比所有先进模型更好的知识图谱完成结果。

May, 2023

本文提出了一种基于图卷积神经网络和知识蒸馏的实体对齐模型以解决关系语义信息利用不充分的问题，并通过实验验证了其有效性。

Jan, 2022

本文提出了一种称为 CoLE 的 Co - 蒸馏学习方法用于知识图谱嵌入，并在基准数据集上的实验表明，该方法优于现有的嵌入模型，提高了知识图谱嵌入的最新技术水平。

Aug, 2022

本文提出了一种被称为无图知识蒸馏（GFKD）的方法，通过建模多元伯努利分布来学习知识传输的图拓扑结构，并使用梯度估计器来优化该框架，该方法适用于处理不同拓扑结构的非网格数据。经过广泛的实验，GFKD 实现了从 GNN 中蒸馏知识的最先进性能，无需训练数据。

May, 2021

本文提出了一种去中心化的知识图谱表示学习方法，针对只提供实体关系信息但没有输入特征的情况，通过从实体邻居的嵌入编码实体并设计算法进行知识蒸馏来优化，在实体对齐任务上表现得更好，并在归纳设置下在实体对齐和实体预测任务上优于所有对照实验.

Oct, 2020

本论文提出了一种名为 InductivE 的学习框架，旨在解决 Commonsense Knowledge Graph（CKG）完成中可能出现的未见过实体的问题，该框架直接从原始实体属性 / 文本计算实体嵌入，并由一个自由文本编码器、一个图编码器和一个 KG 完成解码器组成。实验证明，InductivE 在 ATOMIC 和 ConceptNet 基准测试中都显著优于现有基线方法。

Sep, 2020