Sep, 2020

CokeBERT: 基于上下文知识选择和嵌入的增强预训练语言模型

PDF
TL;DR本文提出了一种名为 Coke 的新型框架，它可以动态地选择上下文知识和嵌入知识上下文，以用于 PLMs，该框架可避免无法匹配输入文本的冗余和模糊知识的影响，实验结果表明，Coke 比各种基线模型在典型的知识驱动 NLP 任务上表现更好，并且能以更可解释的形式描述文本相关知识的语义。
pre-trained language modelsknowledge graphscokedynamic knowledge selectioninterpretability
发现论文，激发创造
  • CoKE: 上下文化的知识图谱嵌入

    本文提出了考虑知识图谱中实体和关系的上下文特性的全新范例 Contextualized Knowledge Graph Embedding (CoKE)，它采用 Transformer 编码器以从实体和关系序列中获取语境化表示，并在广泛的公共基准测试中验证了其在链接预测和路径查询中的优越性。

    Nov, 2019

  • CoLAKE: 上下文化语言与知识嵌入

    本文提出的 CoLAKE 是一种基于预训练语言模型的的语言和知识情境化嵌入方法，可以提取一个实体的知识上下文并将其整合到一个统一的数据结构中，在知识驱动的任务、知识探测任务和语言理解任务中表现出优良性能。

    Oct, 2020

  • KI-BERT: 基于知识背景的语言和领域理解的增强

    通过对知识图谱进行多方位的知识语境注入，基于 BERT 的语言模型可以在微调期间解决概念和模糊实体的语境问题，从而在 GLUE 测试集的多个子任务中，KI-BERT-base 模型能够显著优于以 ERNIE、SenseBERT 和 BERT_CS 为代表的最新知识感知 BERT 变体，甚至比 BERT-large 模型在 SciTail 和 QQP、QNLI、MNLI 等领域特定任务方面表现更佳。

    Apr, 2021

  • 增强的时间知识嵌入与语境化语言表示

    提出了一种增强的在上下文化语言表示下的时间知识嵌入模型 （ECOLA），它使用 tKG 四元组作为隐式测量来暂时对齐文本数据和时光演变的实体表示，并使用新的知识文本预测任务将文本信息注入时间知识嵌入。实验结果显示，ECOLA 在时间知识图嵌入任务中优于现有的 tKG 嵌入模型。

    Mar, 2022

  • 将图上上下文知识融入预训练语言模型

    本文提出了一种基于 Transformer 模型的知识表示学习方法，能够有效地捕捉知识图谱中节点的上下文信息，提高了医学自然语言处理中的性能表现。

    Nov, 2019

  • KELM：在分层关系图上使用信息传递增强预训练语言表示的知识

    该论文提出了一种基于微调过程的知识感知语言模型框架，将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新，取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。

    Sep, 2021

  • 基于上下文和知识图谱的动态表示

    本文提出了一种名为 CKG 的动态表示方法，利用外部知识图谱中的实体信息来提高语言句子的正确语义，实验表明，CKG 在多项任务中达到了最优结果。

    Dec, 2022

  • 学习领域自然语言理解中的知识增强上下文语言表示

    Knowledge-Enhanced Pre-trained Language Models improve downstream NLP tasks in closed domains by injecting knowledge facts from Knowledge Graphs using the proposed KANGAROO framework that captures implicit graph structure and employs data augmentation for better performance.

    Nov, 2023

  • 知识图谱融合用于语言模型微调

    探索将知识图谱注入 Bert 模型的微调阶段来提高语言理解，并通过实验证明注入相关高质量知识对于特定任务有显著的性能提升。

    Jun, 2022

  • 知识增强的上下文词表示

    提出了一种用多个知识库来加强大型模型表示的方法，每个知识库都通过一个集成实体链接器来检索相关实体嵌入，然后通过单词与实体关注的形式更新上下文单词表示，经实验发现知识增强的 BERT 模型具有更好的性能，且运行时间与 BERT 相当。

    Sep, 2019