ACLJun, 2021

基于预训练语言模型的少样本知识图谱到文本生成

PDF
TL;DR本文研究如何利用预训练语言模型生成自然语言文本，以便描述知识图谱中的事实，并提出了三项技术创新，包括：语义对齐、关系倾向知识图谱线性化和多任务学习。大量实验证明，我们的模型在 KG-to-text 生成任务中有效性较高，特别在 few-shot 设置下更是优于所有比较方法。
knowledge graphpretrained language modelsnatural language text generationfew-shot learningmulti-task learning
发现论文，激发创造
  • 利用大型语言模型从知识图谱进行零样本自然语言生成

    本文使用大型语言模型进行预训练生成知识图谱到文本的零样本生成，虽然表现接近最先进水平，但不同情况下有不同结果，并发现语言模型已有的知识与输出文本的质量有显著关联。

    Jul, 2023

  • 探究预训练语言模型在图形生成文本方面的应用

    本文研究了两种先前提出的预训练语言模型（PLMs），分析了不同任务自适应预训练策略对图转文本生成中 PLMs 的影响，发现 PLMs BART 和 T5 实现了新的最先进结果，并且任务适应性预训练策略进一步提高了它们的性能。

    Jul, 2020

  • 对话系统中基于知识图谱的自然语言生成

    使用知识图谱增强对话代理的准确性和全面性，但在对话时生成文本仍被认为是一项具有挑战性的任务，本文回顾了知识图谱文本生成的不同架构，包括图神经网络、图变换器和序列到序列模型，选择使用序列到序列变压器模型（PLMs）作为知识图谱到文本生成任务的模型，并探索未来多语言维度的研究方向。

    Jul, 2023

  • 语言模型是开放的知识图谱

    本论文介绍了如何使用预训练语言模型构建知识图谱，从而达到无须人类监督的效果，并通过比较人类创建的两个知识图谱，证明了构建的知识图谱的质量高，能够提供新的事实知识，并公开了相关代码和知识图谱。

    Oct, 2020

  • 从文本生成知识图谱

    提出了一种通过对文本输入进行多阶段知识图谱生成的系统，并通过使用预训练的语言模型生成图节点，然后使用简单的边构造头部来使得从文本中提取知识图谱效率更高。该模型在 WebNLG 2020 挑战数据集，New York Times（NYT）和大规模 TekGen 数据集上表现不错，超过现有基线。

    Nov, 2022

  • 知识增强预训练语言模型综述

    本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

    Nov, 2022

  • 基於知識圖譜的合成語料庫生成用於知識增強語言模型預訓練

    本文研究了将知识图谱转化为自然语言文本的任务，主要讨论了广泛的开放领域大规模语言生成的挑战，将知识图谱转化为自然语言文本，从而提高了语言模型的事实准确性和减少了毒性。通过对开放领域 QA 和 LAMA 知识探测的任务进行评估，表明该方法在文本检索方面有很大的优势。

    Oct, 2020

  • KELM：在分层关系图上使用信息传递增强预训练语言表示的知识

    该论文提出了一种基于微调过程的知识感知语言模型框架，将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新，取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。

    Sep, 2021

  • 预训练语言模型在简单知识图谱问答中的实证研究

    本文针对知识图谱问答中不同预训练语言模型的性能对比，基于两个基本框架和三个基准数据集进行了实验和分析，结果表明知识蒸馏和知识增强技术对于知识图谱问答有很大的帮助；同时，该文还测试了 ChatGPT 在零样本知识图谱问答方面的表现，最终发布了相关代码与基准数据集供后续研究使用。

    Mar, 2023

  • 面向图文生成的逐阶微调算法

    本文提出了一种带有两个阶段微调机制的结构化图文模型，结合传统的标记和位置嵌入以及新颖的树级嵌入方法，显著提高了英语 WebNLG 2017 数据集的所有文本生成指标

    May, 2021