WWWMar, 2023

知识图谱迁移的结构预训练与提示微调

PDF
TL;DR本文提出一种新型预训练知识图谱模型 KGTransformer 作为多种知识图谱相关任务的通用 KRF 模块，使用三个自监督任务对其进行预训练，并使用三项任务来评估其性能。实验结果表明，KGTransformer 优于特定任务模型并可作为一个通用和有效的 KRF 模块。
knowledge graphknowledge representationpretraining modeltask representationkgtransformer
发现论文，激发创造
  • 多域知识图谱协作预训练及提示调整用于多样化下游任务

    我们提出了一个名为 MuDoK 的框架，实现了多领域协同预训练和高效前缀提示调整，以服务于推荐和文本理解等多样化的下游任务。我们构建了一个新的多领域知识图谱预训练基准，名为 KPI，用于评估我们的方法，并开源以供后续研究。实验结果表明，我们的框架在异构下游任务中带来了显著的性能提升，同时具有普适性、高效性和可迁移性。

    May, 2024

  • 为知识图谱补全预训练变形器

    文章介绍了一种名为 iHT 的知识图谱 (KG) 表征模型，该模型基于 Transformer 并经过大规模预训练，由实体编码器和邻居感知关系得分函数组成，可用于 KG 补全，经过实验证明其具有很好的泛化能力和良好的表现。

    Mar, 2023

  • 将图上上下文知识融入预训练语言模型

    本文提出了一种基于 Transformer 模型的知识表示学习方法，能够有效地捕捉知识图谱中节点的上下文信息，提高了医学自然语言处理中的性能表现。

    Nov, 2019

  • 深度双向语言 - 知识图谱预训练

    用自我监督的方法，从文本和知识图谱中预先训练出深度语言 - 知识图谱联合模型 DRAGON，而 DRAGON 在一系列下游任务中实现了良好性能，尤其是在语言和知识复杂推理方面的优异表现，以及在各种 BioNLP 任务中的最新成果。

    Oct, 2022

  • 遮盖和原因：预训练知识图谱变形器用于复杂逻辑查询

    本文介绍了一种利用知识图谱转换器进行推理的方法，使用了掩码预训练和微调策略。 经过学习处理复杂逻辑查询，结果表明 kgTransformer 在 9 种不同领域的任务中表现优异，并提供了全面的推理路径解释。

    Aug, 2022

  • KPGT: 分子属性预测中的图形 Transformer 的知识引导预训练

    本文提出了一种名为 “知识引导图转换器的预训练 (KPGT)” 的自监督学习框架，利用高容量的线性图转换器（LiGhT）和知识引导的预训练策略，以解决分子属性预测中存在的两个主要问题，并在大规模无标签分子图上显示出卓越的性能。

    Jun, 2022

  • 基于知识的预训练模型用于数据到文本生成

    本文提出一种使用预训练和迁移学习处理数据生成文本任务的方法，该方法包括知识驱动的预训练模型和针对各种任务生成文本的微调模型，其在少样本情况下性能优异，验证了其强大的泛化能力。

    Oct, 2020

  • KG-BERT: 知识图谱补全任务的 BERT 模型

    本研究提出使用预训练语言模型来完成知识图谱，使用 KG-BERT 架构对知识图谱中的三元组进行建模，通过实验结果显示，该方法在三元组分类、链接预测和关系预测任务中均可以达到最佳表现。

    Sep, 2019

  • KELM：在分层关系图上使用信息传递增强预训练语言表示的知识

    该论文提出了一种基于微调过程的知识感知语言模型框架，将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新，取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。

    Sep, 2021

  • 多源知识图谱上基于联合预训练和本地微调的可迁移表征学习

    本文提出了 “联合预训练和本地重新训练” 框架，用于学习和应用多源知识图谱嵌入。旨在利用不同的知识图谱，改善知识图谱嵌入和下游任务。通过实体对齐构建链接的子图，通过三级知识蒸馏进行重新训练，实现知识的传递，生成更具表现力的嵌入。该框架在广泛实验中证明了其有效性和效率。

    Jun, 2023