ACLMar, 2022

TegTok：通过任务特定和开放世界知识增强文本生成

PDF
TL;DR通过引入任务特定和开放世界知识（TegTok）进一步改善文本生成的性能，该方法可以在 PLMs 上学习如何更好地生成对话和问题。
text generationpre-trained language modelstask-specific knowledgeopen-world knowledgetegtok
发现论文，激发创造
  • 基于知识选择的主题到文章生成

    通过引入富语义知识的内容选择模块和改进的前缀调整方法，提出了一种新型的复制机制模型，用于改进语义相干性、生成多样性和主题一致性，并且在 TGE 任务上的实验结果表明，与现有方法相比，提出的模型可以提高生成文本的多样性 35％至 59％，同时保持高水平的主题一致性。

    Feb, 2024

  • 知识增强文本生成调查

    本文综述了过去五年间关于知识增强文本生成的研究，主要内容包括将各种形式的知识融合到文本生成中的通用方法与架构，以及基于不同形式的知识数据的具体技术和应用。

    Oct, 2020

  • 面向任务导向对话的主题感知响应生成与非结构化知识访问

    本文提出一种名为 TARG 的基于主题的响应生成模型，改进了基于词或句子相似度来检测相关知识背景的方法，用主题信息来提高对话历史的理解，取得了知识选择和响应生成上的最新成果。

    Dec, 2022

  • 通过预训练语言模型对文本增强开放知识图谱完成进行优化

    TAGREAL 通过从大型文本语料库中检索支持信息，自动生成高质量的查询提示，从而探索 PLM 的知识，实现开放知识图谱完成，并实现了最先进的性能表现。

    May, 2023

  • 基于知识的预训练模型用于数据到文本生成

    本文提出一种使用预训练和迁移学习处理数据生成文本任务的方法，该方法包括知识驱动的预训练模型和针对各种任务生成文本的微调模型，其在少样本情况下性能优异，验证了其强大的泛化能力。

    Oct, 2020

  • 面向任务的对话中基于非结构化知识的高效检索增强生成

    本文总结了我们在第九届对话系统技术挑战赛（DSTC 9）第一轨中的工作，我们提出了一种基于层次分类和序列嵌入的检索和生成方法，以实现针对任务导向对话中利用非结构化文本信息的回答生成。

    Feb, 2021

  • 知识三元组的信息文本生成

    本研究提出使用记忆网络作为增强模型来生成 KB-to-text 中的人类可读句子，实现更多信息的传递。通过从 WebNLG 中获取数据集，并对模型进行多次的评测和实验，证明了本文所提出的解决方案的有效性以及内在特性的探究。

    Sep, 2022

  • 双重知识增强生成预训练语言模型的多模态对话系统

    本文提出了一个可以双重增强知识的生成式语言模型，用于为多模态任务导向式对话系统生成适当的文本响应。实验证明，该模型优于现有竞争对手。

    Jul, 2022

  • 协同生成人工智能：在文本到图像生成中集成 GPT-k 以进行高效编辑

    该研究使用 GPT-k 等大型语言模型来改进文本到图像生成中的提示编辑过程，发现 GPT-k 模型更专注于插入修改词语，从而减少 20-30% 的剩余编辑。

    May, 2023

  • 强化信息检索与生成的大型语言模型

    我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

    Oct, 2023