COLINGApr, 2022

GAP: 面向知识图谱到文本生成的图感知语言模型框架

PDF
TL;DR通过将图感知元素融合到现有的预训练语言模型中，提出了一种掩蔽结构来捕获邻域信息和一种新型类型编码器，以便于基于图中的拓扑和类型信息解释 KG-to-text 生成模型（在不需要额外的预训练任务的情况下），实验结果表明我们的模型具有较高的竞争力。
kg-to-text generationpre-training tasksgraph-aware elementsmask structuretype encoder
发现论文，激发创造
  • 自监督图层掩蔽预训练用于图到文本生成

    该论文提出了使用图形遮盖的预训练策略来提高图到文本生成任务中预训练模型的效果，该方法取得了 WebNLG+2020 和 EventNarrative 数据集上的最新最好成果，并在低资源设置中表现出非常有效的结果。

    Oct, 2022

  • JointGT: 知识图谱文本联合表征学习用于文本生成

    该论文提出了一种名为 JointGT 的图文联合表示学习模型，该模型可应用于知识图谱自动文本生成。相较于现有的预训练模型，JointGT 将考虑图结构因素进行编码，并利用新的预训练任务（包括分别对文本和图进行重构以及通过最优传输实现图文一致性对齐）来提高性能，进而在多个 KG-to-text 数据集上达到新的最佳表现。

    Jun, 2021

  • 基于预训练语言模型的少样本知识图谱到文本生成

    本文研究如何利用预训练语言模型生成自然语言文本，以便描述知识图谱中的事实，并提出了三项技术创新，包括：语义对齐、关系倾向知识图谱线性化和多任务学习。大量实验证明，我们的模型在 KG-to-text 生成任务中有效性较高，特别在 few-shot 设置下更是优于所有比较方法。

    Jun, 2021

  • 深度双向语言 - 知识图谱预训练

    用自我监督的方法，从文本和知识图谱中预先训练出深度语言 - 知识图谱联合模型 DRAGON，而 DRAGON 在一系列下游任务中实现了良好性能，尤其是在语言和知识复杂推理方面的优异表现，以及在各种 BioNLP 任务中的最新成果。

    Oct, 2022

  • 基于大规模图语料库的图感知语言模型预训练可以提高多种图应用的效果

    使用基于图的语言模型预训练算法（GALM）预处理大型图谱上的文本信息，使用各种下游应用的调整方法进行优化，取得了很好的效果。

    Jun, 2023

  • 通过图引导的表示学习利用结构化文本知识

    本研究探讨使用知识图谱为预训练语言模型提供结构化知识的方法，提出并实现了两种利用知识图谱进行自监督训练的任务，并通过掩盖文本中的实体并利用实体关系知识进行训练，通过实验验证了该方法的有效性。

    Apr, 2020

  • 文本属性图上的纯 Transformer 预训练框架

    图序列预训练框架 GSPT 利用统一的文本表示，在图领域中取得了显著的可转移性和实证成功。

    Jun, 2024

  • CADGE：基于图结构知识聚合的上下文感知对话生成

    本文提出一种基于上下文感知的图注意力模型 (Context-aware GAT)，可以在知识聚合流程中有效地整合相关知识图的全局特征，并且优于传统基于图神经网络 (GNNs) 的语言框架。

    May, 2023

  • JAKET: 知识图谱与语言理解的联合预训练

    本文提出了一种新的联合预训练框架 JAKET，旨在更有效地整合与语言模型相关的知识图，并在几项知识感知 NLP 任务中取得了显著的性能优势。

    Oct, 2020

  • 对话系统中基于知识图谱的自然语言生成

    使用知识图谱增强对话代理的准确性和全面性，但在对话时生成文本仍被认为是一项具有挑战性的任务，本文回顾了知识图谱文本生成的不同架构，包括图神经网络、图变换器和序列到序列模型，选择使用序列到序列变压器模型（PLMs）作为知识图谱到文本生成任务的模型，并探索未来多语言维度的研究方向。

    Jul, 2023