Jan, 2022

用于语义网络填充的多任务预训练语言模型

PDF
TL;DR本文研究如何提高知识图谱的完整性，通过引入 LP-BERT 模型，并结合语义匹配以及数据增强的方法，实现了知识图谱补全任务的最新成果，优于现有最佳表现。
knowledge graph completionsemantic matchinglp-bertdata augmentationstate-of-the-art
发现论文，激发创造
  • 利用大量多语种知识三元组增强多语言模型

    本文提出了使用多语言知识图谱三元组进行直接训练的基于知识的多语言语言模型。通过生成大量的多语言合成句子并设计预训练任务，实现了 KMLMs 对事实知识和逻辑模式的学习，并在跨语言任务中展示了显著的性能提升，包括命名实体识别（NER）、事实知识检索、关系分类和新设计的逻辑推理任务。

    Nov, 2021

  • 基于三元注意力预训练的生物医学实体链接

    将基因组学实体链接到自然语言处理任务中，提出了一种使用知识图谱信息预训练生成式大型语言模型的新框架。

    Aug, 2023

  • 结合自适应增强语义信息的知识图谱补全方法

    该研究构建了一种知识图谱补全方法，通过微调 BERT 模型获取三元组中隐藏的语义信息，并使用注意力特征嵌入方法计算正负三元组中关系和实体之间的语义注意力得分，形成软约束规则来实现语义信息的自适应增强。此外，考虑到高维向量对影响，使用 BERT-Whitening 方法降低维度，提高语义向量的效率。经实验比较，在 FB15K 和 WIN18 数据集上，所提出的方法表现更好，比原始翻译模型有约 2.6％的数值改善。

    Feb, 2023

  • 知识图谱补全的联合语义和结构嵌入

    本文提出了一种采用预训练语言模型的方法，将知识三元组的语义信息与其结构信息一起嵌入到自然语言描述中，以提高知识图谱补全任务的性能，特别是在低资源环境下表现更佳。

    Sep, 2022

  • 知识图谱融合用于语言模型微调

    探索将知识图谱注入 Bert 模型的微调阶段来提高语言理解，并通过实验证明注入相关高质量知识对于特定任务有显著的性能提升。

    Jun, 2022

  • KGLM: 将知识图谱结构整合到语言模型中进行链接预测

    提出了一种名为 KGLM 的知识图谱语言模型结构，该结构通过引入新的实体 / 关系嵌入层来学习区分不同的实体和关系类型，从而允许模型学习知识图谱的结构，并通过对知识图谱中提取的三元组进行附加培训，跟随标准的微调阶段，取得了基准数据集上的链接预测任务的最新性能。

    Nov, 2022

  • 探索用于知识图谱完成的大型语言模型

    在本研究中，我们探索了利用大型语言模型（LLM）来完成知识图的关键问题。通过将知识图中的三元组视为文本序列，并引入名为 Knowledge Graph LLM（KG-LLM）的创新框架来对这些三元组进行建模。我们的技术利用三元组的实体和关系描述作为提示，并利用生成的响应进行预测。在各种基准知识图上的实验证明，我们的方法在三元组分类和关系预测等任务中达到了最先进的性能水平。我们还发现，微调相对较小的模型（例如 LLaMA-7B，ChatGLM-6B）优于最新的 ChatGPT 和 GPT-4。

    Aug, 2023

  • KG-BERT: 知识图谱补全任务的 BERT 模型

    本研究提出使用预训练语言模型来完成知识图谱，使用 KG-BERT 架构对知识图谱中的三元组进行建模，通过实验结果显示，该方法在三元组分类、链接预测和关系预测任务中均可以达到最佳表现。

    Sep, 2019

  • KELM：在分层关系图上使用信息传递增强预训练语言表示的知识

    该论文提出了一种基于微调过程的知识感知语言模型框架，将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新，取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。

    Sep, 2021

  • 预训练百科全书：弱监督知识预训练语言模型

    本文研究预训练语言模型（如 BERT）在零样本的事实推理任务中的知识捕获，提出一种有效的弱监督预训练目标，通过实体知识的显式融入，实现了对真实世界知识的建模，实验结果表明，该模型在答题、实体类型标注等任务上均优于 BERT。

    Dec, 2019