COLINGOct, 2020

CoLAKE: 上下文化语言与知识嵌入

PDF
TL;DR本文提出的 CoLAKE 是一种基于预训练语言模型的的语言和知识情境化嵌入方法，可以提取一个实体的知识上下文并将其整合到一个统一的数据结构中，在知识驱动的任务、知识探测任务和语言理解任务中表现出优良性能。
contextualized language and knowledge embeddingpre-trained language modelsknowledge representationentity embeddingsword-knowledge graph
发现论文，激发创造
  • CokeBERT: 基于上下文知识选择和嵌入的增强预训练语言模型

    本文提出了一种名为 Coke 的新型框架，它可以动态地选择上下文知识和嵌入知识上下文，以用于 PLMs，该框架可避免无法匹配输入文本的冗余和模糊知识的影响，实验结果表明，Coke 比各种基线模型在典型的知识驱动 NLP 任务上表现更好，并且能以更可解释的形式描述文本相关知识的语义。

    Sep, 2020

  • 增强的时间知识嵌入与语境化语言表示

    提出了一种增强的在上下文化语言表示下的时间知识嵌入模型 （ECOLA），它使用 tKG 四元组作为隐式测量来暂时对齐文本数据和时光演变的实体表示，并使用新的知识文本预测任务将文本信息注入时间知识嵌入。实验结果显示，ECOLA 在时间知识图嵌入任务中优于现有的 tKG 嵌入模型。

    Mar, 2022

  • KALM: 面向长文档理解的知识感知本地、文档和全局上下文集成

    本文提出了一种知识感知语言模型（KALM），它通过对局部、文档级别和全局上下文中的知识进行联合利用，用于长文档理解任务，并以可解释的知识交换实现整个文档的表示，并在六个数据集 / 设置上取得了最先进的效果。

    Oct, 2022

  • CoKE: 上下文化的知识图谱嵌入

    本文提出了考虑知识图谱中实体和关系的上下文特性的全新范例 Contextualized Knowledge Graph Embedding (CoKE)，它采用 Transformer 编码器以从实体和关系序列中获取语境化表示，并在广泛的公共基准测试中验证了其在链接预测和路径查询中的优越性。

    Nov, 2019

  • 将图上上下文知识融入预训练语言模型

    本文提出了一种基于 Transformer 模型的知识表示学习方法，能够有效地捕捉知识图谱中节点的上下文信息，提高了医学自然语言处理中的性能表现。

    Nov, 2019

  • 学习领域自然语言理解中的知识增强上下文语言表示

    Knowledge-Enhanced Pre-trained Language Models improve downstream NLP tasks in closed domains by injecting knowledge facts from Knowledge Graphs using the proposed KANGAROO framework that captures implicit graph structure and employs data augmentation for better performance.

    Nov, 2023

  • JAKET: 知识图谱与语言理解的联合预训练

    本文提出了一种新的联合预训练框架 JAKET，旨在更有效地整合与语言模型相关的知识图，并在几项知识感知 NLP 任务中取得了显著的性能优势。

    Oct, 2020

  • 知识增强的上下文词表示

    提出了一种用多个知识库来加强大型模型表示的方法，每个知识库都通过一个集成实体链接器来检索相关实体嵌入，然后通过单词与实体关注的形式更新上下文单词表示，经实验发现知识增强的 BERT 模型具有更好的性能，且运行时间与 BERT 相当。

    Sep, 2019

  • CooK：用模块化与协同知识赋能通用语言模型

    提出了一种名为 CooK 的新型框架，通过提供模块化的知识和协同来源的知识，为通用大型语言模型增强知识能力，并通过动态选择、筛选、整合不同领域的参数知识仓库促进多领域知识综合和按需更新，从而获得了在六个基准数据集上的最先进性能。

    May, 2023

  • 通过共蒸馏学习进行知识图谱嵌入

    本文提出了一种称为 CoLE 的 Co - 蒸馏学习方法用于知识图谱嵌入，并在基准数据集上的实验表明，该方法优于现有的嵌入模型，提高了知识图谱嵌入的最新技术水平。

    Aug, 2022