EMNLPOct, 2020

基于知识的预训练模型用于数据到文本生成

PDF
TL;DR本文提出一种使用预训练和迁移学习处理数据生成文本任务的方法，该方法包括知识驱动的预训练模型和针对各种任务生成文本的微调模型，其在少样本情况下性能优异，验证了其强大的泛化能力。
data-to-text generationpre-trainingtransfer learningknowledge-grounded generation modelfew-shot setting
发现论文，激发创造
  • 基于关键词导向的对话生成预训练模型

    在对话生成领域，我们提出了一种基于关键词引导的自监督预训练方法 (KPT)，该方法可以从对话数据中抽取关键词并构建两种不同的知识，以处理基于知识的生成任务，如对话行为，知识图谱和个人描述等。实验结果表明，KPT 在此类任务中具有优异的表现。

    Dec, 2022

  • 利用大型语言模型从知识图谱进行零样本自然语言生成

    本文使用大型语言模型进行预训练生成知识图谱到文本的零样本生成，虽然表现接近最先进水平，但不同情况下有不同结果，并发现语言模型已有的知识与输出文本的质量有显著关联。

    Jul, 2023

  • 基于预训练语言模型的少样本知识图谱到文本生成

    本文研究如何利用预训练语言模型生成自然语言文本，以便描述知识图谱中的事实，并提出了三项技术创新，包括：语义对齐、关系倾向知识图谱线性化和多任务学习。大量实验证明，我们的模型在 KG-to-text 生成任务中有效性较高，特别在 few-shot 设置下更是优于所有比较方法。

    Jun, 2021

  • 基于知识增强的通识常识故事生成预训练模型

    本文针对故事生成中存在的重复、逻辑冲突和长距离一致性缺乏等问题，提出了一种基于知识增强预训练模型的通用故事生成方法。通过利用外部知识库中的常识知识来生成合理的故事，并采用多任务学习的方法来捕捉合理故事中句子之间的因果关系和时间依赖关系，从而在逻辑和整体一致性方面比其他最先进的模型有更好的表现。

    Jan, 2020

  • KgPLM: 知识引导的语言模型预训练 via 生成学习和区分学习

    本文提出了一个基于事实知识补全和验证的预训练语言模型框架，探讨了共享参数下的两个学习方案，并在 LAMA 和 MRQA 等任务中验证了其能够提供更丰富的事实知识和实现最新的表现。

    Dec, 2020

  • 文本生成的转移提示学习

    本文提出一种基于提示的文本生成方法（PTG），采用预训练语言模型，在面对数据匮乏的情况下通过学习一组源提示并将其转移为目标提示执行目标生成任务，设计了一个自适应注意机制以得出目标提示，实验结果表明 PTG 针对多个任务产生了有竞争力的结果，源提示已开放并可用于未来研究。

    May, 2022

  • ZeroGen：通过数据集生成高效的零样本学习

    本文研究了一种灵活高效的零样本学习方法 - 零样本生成（ZeroGen），基于预训练语言模型（PLMs）无监督生成数据集，并使用该数据集训练小型模型进行任务处理，从而实现高效推理。实验和分析表明， extsc {ZeroGen} 在文本分类、问答和自然语言推理等 NLP 任务中的有效性。

    Feb, 2022

  • FoodGPT：一种在食品测试领域的大型语言模型，采用增量预训练和知识图谱提示

    现有的大规模语言模型建设通常是在基础模型上进行微调，有些模型还会融入知识库而不需要预训练。本文提出了一种增量预训练方法来处理结构化知识和扫描文档，通过构建知识图谱作为外部知识库，旨在解决大规模语言模型中的机器幻觉问题。

    Aug, 2023

  • 知识图谱迁移的结构预训练与提示微调

    本文提出一种新型预训练知识图谱模型 KGTransformer 作为多种知识图谱相关任务的通用 KRF 模块，使用三个自监督任务对其进行预训练，并使用三项任务来评估其性能。实验结果表明，KGTransformer 优于特定任务模型并可作为一个通用和有效的 KRF 模块。

    Mar, 2023

  • 领域自适应关键词生成的从一般到特定的转移标注

    本文提出了一种通过使用一种数据有效的三阶段流程来训练关键短语生成（KPG）模型的方法，从而解决大型分布位移对不同领域 KPG 模型之间的转移性造成的严重障碍问题，并获得了在新领域中产生良好质量关键短语的结果。

    Aug, 2022