Feb, 2023

结合自适应增强语义信息的知识图谱补全方法

PDF
TL;DR该研究构建了一种知识图谱补全方法，通过微调 BERT 模型获取三元组中隐藏的语义信息，并使用注意力特征嵌入方法计算正负三元组中关系和实体之间的语义注意力得分，形成软约束规则来实现语义信息的自适应增强。此外，考虑到高维向量对影响，使用 BERT-Whitening 方法降低维度，提高语义向量的效率。经实验比较，在 FB15K 和 WIN18 数据集上，所提出的方法表现更好，比原始翻译模型有约 2.6％的数值改善。
knowledge graph complementationsemantic informationbert modeltriadsstructural information
发现论文，激发创造
  • 用于语义网络填充的多任务预训练语言模型

    本文研究如何提高知识图谱的完整性，通过引入 LP-BERT 模型，并结合语义匹配以及数据增强的方法，实现了知识图谱补全任务的最新成果，优于现有最佳表现。

    Jan, 2022

  • 基于三元组 BERT 网络的知识图谱精化

    本文利用三元组网络和基于 transformer 的语言模型，采用信息聚类方式对知识图谱中的实体或关系进行 embedding，提升关系预测准确性。通过在多个基准知识图谱上的 triplet 分类和关系预测任务的表现验证了 GilBERT 方法的优越性。

    Nov, 2022

  • 知识图谱融合用于语言模型微调

    探索将知识图谱注入 Bert 模型的微调阶段来提高语言理解，并通过实验证明注入相关高质量知识对于特定任务有显著的性能提升。

    Jun, 2022

  • KG-BERT: 知识图谱补全任务的 BERT 模型

    本研究提出使用预训练语言模型来完成知识图谱，使用 KG-BERT 架构对知识图谱中的三元组进行建模，通过实验结果显示，该方法在三元组分类、链接预测和关系预测任务中均可以达到最佳表现。

    Sep, 2019

  • 利用知识图谱增强神经机器翻译

    本文研究证明，通过在神经网络中嵌入知识图谱可以提高实体和专有名词的翻译效果，并提出了两种方法以增强神经模型的语义特征提取和对数据稀缺性和词汇表外的单词的挑战进行了探讨，结果表明，KG-NMT 模型取得了很好的效果。

    Feb, 2019

  • 基于结构增强的文本表示学习用于高效的知识图谱补全

    本研究旨在整合知识图谱的图嵌入和文本编码技术，以提高自动完成知识图谱的性能，实现更精确的链接预测和结构学习。实验结果表明，该方法能实现与文本编码方法相比 1-2 个数量级的推理成本减少和最先进的性能表现。

    Apr, 2020

  • 知识图谱补全的联合语义和结构嵌入

    本文提出了一种采用预训练语言模型的方法，将知识三元组的语义信息与其结构信息一起嵌入到自然语言描述中，以提高知识图谱补全任务的性能，特别是在低资源环境下表现更佳。

    Sep, 2022

  • 通过弱监督重新利用知识图谱嵌入进行三元组表示

    本文提出了一种基于预训练知识图谱嵌入的三元组表示微调方法，利用 Siamese 网络训练，从而在三元组分类和聚类任务中实现了与其他最新技术相比的一致性改进。

    Aug, 2022

  • 对短文本匹配模型进行对比学习增强的知识加强模型

    本文提出了一个结合对比学习和外部知识的短文本匹配模型，使用生成模型构建补全句子，利用对比学习方法获得更加语义化的编码，使用关键词与知识库相结合构建知识图谱，通过的实验证明了该模型在两个中文文本匹配数据集上达到了最佳表现。

    Apr, 2023

  • 利用 BERT 和图注意力实现机器翻译的句法知识

    通过图注意力模型与 BERT 共同表示源语言的句法依赖特征，以丰富源语言的表示并指导目标语言生成，提出了用 SGB 在机器翻译中获取句法知识。这个模型的实验显示，在不损失 BLEU 得分的情况下，可以提高翻译质量，同时探索了句子长度对此的影响以及 GAT 识别的依赖关系。

    May, 2023