Mar, 2024

TRELM: 面向强大和高效的基于知识增强的预训练语言模型

PDF
TL;DRTRELM 是一种强大高效的预训练框架，用于提升语言模型的知识扩充能力，并在知识探测任务和多种知识感知语言理解任务中表现优于其他基于知识的语言模型。
keplmstrelmknowledge-enhanced language modelspre-trainingknowledge probing tasks
发现论文，激发创造
  • KELM：在分层关系图上使用信息传递增强预训练语言表示的知识

    该论文提出了一种基于微调过程的知识感知语言模型框架，将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新，取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。

    Sep, 2021

  • DKPLM：用于自然语言理解的可分解知识增强预训练语言模型

    本文介绍了一种新颖的预训练语言模型 DKPLM，它通过解耦知识注入过程的不同阶段，利用基于相关知识三元组的伪标记表示替换长尾实体嵌入，以及设计关系知识解码任务，使得模型在零样本知识探测任务和多种知识感知语言理解任务中表现优异且具有更高的推理速度。

    Dec, 2021

  • KEPLET：具备主题实体意识的知识增强预训练语言模型

    本文提出了一种新型的 KEPLMs - KEPLET，它不仅考虑了维基百科丰富的语料库结构，还具有主题实体感知。实验证明，KEPLET 应用于两种典型的 KEPLMs，在四项实体中心任务中取得了显著的改进。

    May, 2023

  • 知识增强预训练语言模型综述

    本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

    Nov, 2022

  • 知识增强的预训练语言模型：综述

    本文论述了预训练语言模型（PLM）的重要性以及知识增强型预训练语言模型（KE-PLMs）的研究现状，探讨了 KE-PLMs 在各种 NLU 和 NLG 应用中的超越性能以及 KE-PLMs 面临的挑战和未来研究方向。

    Oct, 2021

  • KEPLER: 知识嵌入和预训练语言表示的统一模型

    本文提出了一种名为 KEPLER 的模型，将知识嵌入和预训练自然语言表示模型有效地结合起来，能够在多种自然语言处理任务上取得最先进的表现，并且能够作为一种归纳式知识嵌入模型在 KG 链接预测中取得显著的效果，同时构建了大规模的带有实体描述的知识图谱数据集 Wikidata5M 以成为新的知识嵌入基准，并促进大型知识图谱、归纳式知识嵌入和具有文本的知识图谱研究。

    Nov, 2019

  • 学习领域自然语言理解中的知识增强上下文语言表示

    Knowledge-Enhanced Pre-trained Language Models improve downstream NLP tasks in closed domains by injecting knowledge facts from Knowledge Graphs using the proposed KANGAROO framework that captures implicit graph structure and employs data augmentation for better performance.

    Nov, 2023

  • 利用大量多语种知识三元组增强多语言模型

    本文提出了使用多语言知识图谱三元组进行直接训练的基于知识的多语言语言模型。通过生成大量的多语言合成句子并设计预训练任务，实现了 KMLMs 对事实知识和逻辑模式的学习，并在跨语言任务中展示了显著的性能提升，包括命名实体识别（NER）、事实知识检索、关系分类和新设计的逻辑推理任务。

    Nov, 2021

  • KEHRL: 使用层次强化学习学习知识增强语言表征

    本文提出了一种通过层次强化学习来学习知识增强语言表示的方法，该方法集成了知识图谱中的关系三元组，并通过自监督学习将这些外部数据源整合到语言模型中，以避免注入不准确或不相关的知识，并有效地提升了模型在各种自然语言理解任务上的性能。

    Jun, 2024

  • 利用预训练语言模型预测文本增强时序知识图中的时间间隔

    我们提出了一种名为 TEMT 的新框架，利用预训练语言模型（PLMs）来增强文本的时间性知识图谱完成。TEMT 利用存储在 PLM 参数中的知识，能够产生丰富的事实语义表示，并且对以前未见过的实体进行推广。TEMT 将 KG 中的文本和时间信息分别处理，并将它们融合以得到事实的可信度得分。与以前的方法不同，TEMT 有效捕获不同时间点之间的依赖关系，并能对未见实体进行预测。实验结果表明，TEMT 与现有技术相媲美。

    Sep, 2023