Aug, 2020

评估知识图谱上下文对实体消歧模型的影响

PDF
TL;DR本篇文章提出了一种基于知识图谱（如 Wikidata）的上下文推断方法，以提高预训练 transformer 模型在实体消歧（Named Entity Disambiguation）方面的性能，并通过实验证明该方法可以推广到维基百科，并显著优于现有基线方法。
pretrained transformer modelscontextual informationknowledge graphnamed entity disambiguationwikidata
发现论文，激发创造
  • 将图上上下文知识融入预训练语言模型

    本文提出了一种基于 Transformer 模型的知识表示学习方法，能够有效地捕捉知识图谱中节点的上下文信息，提高了医学自然语言处理中的性能表现。

    Nov, 2019

  • KI-BERT: 基于知识背景的语言和领域理解的增强

    通过对知识图谱进行多方位的知识语境注入，基于 BERT 的语言模型可以在微调期间解决概念和模糊实体的语境问题，从而在 GLUE 测试集的多个子任务中，KI-BERT-base 模型能够显著优于以 ERNIE、SenseBERT 和 BERT_CS 为代表的最新知识感知 BERT 变体，甚至比 BERT-large 模型在 SciTail 和 QQP、QNLI、MNLI 等领域特定任务方面表现更佳。

    Apr, 2021

  • 将上下文融入知识图谱以用于常识问答

    本文提出一种通过利用外部实体描述来为知识理解提供上下文信息的方法，将其作为预训练语言模型的附加输入，以解决知识图谱融合到语言建模中的问题，并获得了常识 QA 数据集中最先进的结果和 OpenBookQA 中非生成模型中最好的结果。

    Dec, 2020

  • 探索基础模型的上下文学习能力，用于从文本中生成知识图谱

    通过自然语言处理中的上下文学习，自动提取命名实体及其关系，实现知识图谱自动化构建。

    May, 2023

  • 知识图谱融合用于语言模型微调

    探索将知识图谱注入 Bert 模型的微调阶段来提高语言理解，并通过实验证明注入相关高质量知识对于特定任务有显著的性能提升。

    Jun, 2022

  • FusionMind -- 提升问题与回答的外部上下文融合

    利用预训练语言模型（LMs）和知识图谱（KGs）解答问题存在识别相关知识和进行联合推理的挑战。通过与先前发表的 QAGNN 方法进行比较，我们发现将相关的知识事实纳入问题上下文有助于提高问题回答性能，而将知识图谱融入语言模型中则只能带来少量增长，这表明将上下文知识事实结合起来可能对增强问题回答性能更具影响力。

    Dec, 2023

  • 基於知識圖譜的合成語料庫生成用於知識增強語言模型預訓練

    本文研究了将知识图谱转化为自然语言文本的任务，主要讨论了广泛的开放领域大规模语言生成的挑战，将知识图谱转化为自然语言文本，从而提高了语言模型的事实准确性和减少了毒性。通过对开放领域 QA 和 LAMA 知识探测的任务进行评估，表明该方法在文本检索方面有很大的优势。

    Oct, 2020

  • 基于上下文和知识图谱的动态表示

    本文提出了一种名为 CKG 的动态表示方法，利用外部知识图谱中的实体信息来提高语言句子的正确语义，实验表明，CKG 在多项任务中达到了最优结果。

    Dec, 2022

  • 知识增强的上下文词表示

    提出了一种用多个知识库来加强大型模型表示的方法，每个知识库都通过一个集成实体链接器来检索相关实体嵌入，然后通过单词与实体关注的形式更新上下文单词表示，经实验发现知识增强的 BERT 模型具有更好的性能，且运行时间与 BERT 相当。

    Sep, 2019

  • 基于知识库推理的实体消歧方法改进

    提出了一种可在符号知识库中通过推理以完全可微的方式连接实体的实体消歧模型，该模型可以使用所有 KB 信息，超过六个著名实体消歧数据集中的现有模型，并在基于不常见和模糊实体的 ShadowLink 数据集中提高 12.7 F1。

    Jul, 2022