知识图谱融合用于语言模型微调
提出了一种基于知识图谱的语言表示模型(K-BERT),可以将领域特定的知识注入到模型中,以用于解决需要专家知识的领域特定问题,实验证明其在 12 个 NLP 任务中有很好的表现。
Sep, 2019
通过对知识图谱进行多方位的知识语境注入,基于 BERT 的语言模型可以在微调期间解决概念和模糊实体的语境问题,从而在 GLUE 测试集的多个子任务中,KI-BERT-base 模型能够显著优于以 ERNIE、SenseBERT 和 BERT_CS 为代表的最新知识感知 BERT 变体,甚至比 BERT-large 模型在 SciTail 和 QQP、QNLI、MNLI 等领域特定任务方面表现更佳。
Apr, 2021
本论文旨在提出一种有系统的方法将外部知识图谱融入 Transformer 模型中,以解决在语言模型中存在的幻觉和对人类用户生成无用和不安全输出的问题,并在 GLUE 基准测试任务上进行大量实验证明其有效性。
Jun, 2023
本研究提出使用预训练语言模型来完成知识图谱,使用 KG-BERT 架构对知识图谱中的三元组进行建模,通过实验结果显示,该方法在三元组分类、链接预测和关系预测任务中均可以达到最佳表现。
Sep, 2019
本篇文章研究使用知识图谱中的实体信息是否有助于基于 BERT 的实体检索模型,结果表明使用实体信息的 BERT 模型在复杂自然语言查询和属性筛选等实体相关查询任务中相比传统 BERT 模型具有更好的推荐效果,并且使用该模型可以在数据不足的情况下进行微调以实现对实体搜索的数据有效训练。
May, 2022
提出了一种用多个知识库来加强大型模型表示的方法,每个知识库都通过一个集成实体链接器来检索相关实体嵌入,然后通过单词与实体关注的形式更新上下文单词表示,经实验发现知识增强的 BERT 模型具有更好的性能,且运行时间与 BERT 相当。
Sep, 2019
本文利用三元组网络和基于 transformer 的语言模型,采用信息聚类方式对知识图谱中的实体或关系进行 embedding,提升关系预测准确性。通过在多个基准知识图谱上的 triplet 分类和关系预测任务的表现验证了 GilBERT 方法的优越性。
Nov, 2022
我们提出了一种新的预训练模型,利用基于维基百科的知识图谱实现了在实体和关系上的双重表示,以及利用跨度模块进行有效编码,相较于现有模型使用更少的参数。实验结果表明,相比 RoBERTa 模型,我们模型在信息抽取任务上表现更好,尤其在监督学习任务中达到了很高的竞争水平。
Aug, 2022
本文研究如何提高知识图谱的完整性,通过引入 LP-BERT 模型,并结合语义匹配以及数据增强的方法,实现了知识图谱补全任务的最新成果,优于现有最佳表现。
Jan, 2022