通过共蒸馏学习进行知识图谱嵌入
本文研究利用基于嵌入的方法,利用多语言知识图谱上实体的文字描述,通过共训两种嵌入模型,即一个多语言知识图谱嵌入模型和一个多语言文字描述嵌入模型,进行半监督学习。实验结果表明,该方法在实体对齐任务中的性能随共训迭代而提高,最终明显优于之前的方法。此外,该方法具有零样本实体对齐和跨语言知识图谱完成的良好能力。
Jun, 2018
本文综述了知识图谱完成中的当前研究状态,特别关注了知识图谱嵌入设计的两个主要分支:基于距离的方法和基于语义匹配的方法,并探讨了与最近提出的模型之间的关联及其背后的趋势,最后讨论了利用预训练语言模型和实体关系的文本描述相结合进行知识图谱完成的新方法。
Sep, 2023
本文提出了一种去中心化的知识图谱表示学习方法,针对只提供实体关系信息但没有输入特征的情况,通过从实体邻居的嵌入编码实体并设计算法进行知识蒸馏来优化,在实体对齐任务上表现得更好,并在归纳设置下在实体对齐和实体预测任务上优于所有对照实验.
Oct, 2020
本文提出了考虑知识图谱中实体和关系的上下文特性的全新范例 Contextualized Knowledge Graph Embedding (CoKE),它采用 Transformer 编码器以从实体和关系序列中获取语境化表示,并在广泛的公共基准测试中验证了其在链接预测和路径查询中的优越性。
Nov, 2019
提出了一种上下文感知的动态知识图谱嵌入方法 (DKGE),该方法利用两个有注意力机制的图卷积网络、一种门控策略和翻译操作,通过双重表示 (知识嵌入和上下文元素嵌入) 联合模型化实体和关系及其环境,以快速获取更新的知识图谱嵌入,同时支持从头开始的知识图谱嵌入。实验证明 DKGE 在动态环境下具有良好的有效性和效率。
Oct, 2019
提出了一种知识图谱对比学习的框架 (KGCL),该框架通过知识图谱增强模式减少了噪声,利用交叉视图对比学习技术进一步抑制了噪声,实现了在稀疏、长尾和有噪声的知识图谱场景下的强大性能。
May, 2022
知识图谱是一个基于图形的数据结构,用于表示世界的事实,其中节点表示现实世界的实体或抽象概念,边表示实体之间的关系。知识图谱嵌入通过在低维向量空间中表示实体和关系来捕捉它们之间的语义关系。本文讨论了基于翻译和神经网络的嵌入模型,它们根据语义属性、评分函数和架构的不同而有所区别,并进一步讨论了在一些使用深度学习模型和利用社交媒体数据的领域中应用知识图谱。
Apr, 2024
本文提出了 “联合预训练和本地重新训练” 框架,用于学习和应用多源知识图谱嵌入。旨在利用不同的知识图谱,改善知识图谱嵌入和下游任务。通过实体对齐构建链接的子图,通过三级知识蒸馏进行重新训练,实现知识的传递,生成更具表现力的嵌入。该框架在广泛实验中证明了其有效性和效率。
Jun, 2023
本研究使用 Transformer 模型代替传统知识图谱嵌入模型 (KGE) 的原子嵌入表示,将 KG link prediction 问题转化为序列到序列任务以及使用自回归解码。相比于传统 KGE 模型,这种简单而强大的方法在保持推理时间可控的同时,将模型大小减少了多达 98%,在不进行过多超参数调整的情况下,在多个大型数据集上的表现优于基线。
Mar, 2022