基于增量蒸馏的竞争性方法对 CKGE 进行了改进，通过充分利用知识图谱中的显式图结构，优化了学习顺序，并设计了一种新颖的增量蒸馏机制以有效保留旧知识，实验结果表明该方法在平均倒数排名得分上取得了 0.2%-6.5% 的改进。

May, 2024

提出了一种迭代自我语义知识蒸馏策略，以提高低维空间下知识图谱 (KGs) 中的知识图谱嵌入 (KGE) 模型表达能力，实现更好的链接预测。通过使用一种新颖的语义提取块，将迭代基于的语义信息提取到训练模型的自我蒸馏中，从而使低维模型具有更高的表达能力，且该策略不仅模型无关，而且可以与其他 KGE 模型无缝结合。在四个标准数据集上进行了实验验证，证明了该自我蒸馏策略的有效性和稳定性。

Jun, 2022

提出了一种新颖的 KGE 训练框架 MED，通过该框架可以训练一次来获得适用于多个不同维度需求的可裁剪 KGE 模型，模型中的子模型可直接使用而无需额外训练。实验证明 MED 的有效性、高效性和灵活性。

Jul, 2024

本文提出一种新的双重图集成学习方法 (DGEKT) 用于知识追踪，该方法建立学生成绩的双重图学习结构，以捕获异构的练习 - 概念关联和交互转换，并通过在线知识蒸馏技术进行模型集成，实现更好的建模能力，实验结果表明，DGEKT 的表现优于八个基线模型，达到了最先进水平。

Nov, 2022

提出了一种上下文感知的动态知识图谱嵌入方法 (DKGE)，该方法利用两个有注意力机制的图卷积网络、一种门控策略和翻译操作，通过双重表示 (知识嵌入和上下文元素嵌入) 联合模型化实体和关系及其环境，以快速获取更新的知识图谱嵌入，同时支持从头开始的知识图谱嵌入。实验证明 DKGE 在动态环境下具有良好的有效性和效率。

Oct, 2019

提出了使用双视图超关系知识图谱的表示学习模型，其中包括以实体为中心的超关系示例视图和以概念为中心的超关系本体视图。将该模型应用于链接预测和实体类型预测任务，并基于 Wikidata 和医疗数据构建了两种双视图超关系数据集。通过采用 DHGE 模型，该模型的实验结果优于基线模型，并且最后提供的样例表明该技术可以用于治疗高血压。

Jul, 2022

DGL-KE 是一个开源的知识图谱嵌入计算软件包，采用多进程、多 GPU 和分布式并行化等各种创新优化，可以在 8 个 GPU 的 EC2 实例上的 100 分钟内计算出 8600 万节点和 3.38 亿边的知识图谱的嵌入，比其他竞争方法快 2 至 5 倍。

Apr, 2020

本文提出了一种基于神经网络的模型 DeepE，在知识图谱嵌入任务中运用多个构建模块，通过对头实体和关系进行预测来预测尾实体。模型堆叠多个构建模块以预测尾实体。这些构建模块等同于使用不同非线性深度的一组学习函数。DeepE 的主要优点是鲁棒性，比其他基线模型表现更好。

Nov, 2022

本文探讨了相对知识蒸馏涉及到潜在空间中的几何，引入一种基于图的方案，有效地从大型神经网络导出知识并传递到小型网络中，提高了性能表现和精度。

Nov, 2019

KGEx 是一种新颖的后处理方法，通过借鉴替代模型研究来解释知识图嵌入（KGE）中的个别链接预测，并通过训练替代 KGE 模型识别重要的训练三元组，从而提供对于黑盒模型忠实的解释。

Oct, 2023