EMNLPAug, 2019

基于规划的分层变分模型进行长篇多样化文本生成

PDF
TL;DR本文提出了一种基于规划的分层变分模型，通过规划出一系列任务子集来分割长文本生成任务，实现了生成多样化表达的效果，相较于现有神经方法更为出色。
data-to-text generationneural methodsplanning-based hierarchical variational modelexpression diversitylong text generation
发现论文，激发创造
  • 变分序列计划数据生成技术

    本论文考虑数据到文本生成的任务，着重提出了一种生成长篇文章的神经模型，增加了计划组件来组织高层次信息，在结构化变分模型的帮助下逐步推理出潜在计划，从而生成文本。在 RotoWire 和 MLB 两个数据到文本基准测试中，本模型表现优于基准模型，并且在训练数据有限的情况下具有较高的样本效率。

    Feb, 2022

  • 基于多级潜变量模型生成长且连贯的文本

    本文研究了多层结构的变分自编码器模型，采用层级随机层和多层解码器结构生成更具信息的潜变量编码，同时生成中间的句子表示作为高层计划向量，实验结果表明多层结构能够生成更加连贯且不重复的长文本，并进一步缓解了后验坍缩问题。

    Feb, 2019

  • 文本生成的深度潜在变量模型

    使用深度潜变量模型进行文本生成可以提高标准编码器 - 解码器模型的效果，同时保持深度神经网络的表达能力。

    Mar, 2022

  • 文本处理的神经变分推断

    通过引入一个通用变分推断框架来构建生成式和条件文本模型的变分推断网络，我们验证了该框架在生成式文档建模和监督式问题回答两个不同的文本建模应用中的有效性。

    Nov, 2015

  • 战略对话的分层文本生成与规划

    本论文介绍了一种学习对话信息表征、提高决策效率的方法，通过解耦对话表述中的语义和语言实现，使用学习到的表征完成对话生成、规划和增强学习等任务，在实验中效果比之前的工作更佳。

    Dec, 2017

  • 一般适用规则不一定适合所有情况：生成和评估关键词的可变数量

    本研究从建模和评估的角度解决了许多现有神经关键词生成模型中缺乏多样性问题，并提出了两种评估指标和一种新数据集 StackEx，从而能够控制输出数量并在所有数据集上优于强基线。

    Oct, 2018

  • 使用高斯过程先验的变分编码器 - 解码器模型进行多样化文本生成

    本文提出了一种基于潜变量结构模型的高质量文本生成方法，通过富化编码器 - 解码器模型的上下文表示学习来提高文本生成的质量和多样性，其中采用高斯过程先验的随机函数来实现多样性，并用有效的变分推理方法来近似后验分布，实验证明该方法相较于其他基准方法在 Paraphrase Generation 和 Text Style Transfer 任务上生成的文本质量和多样性更高。

    Apr, 2022

  • 通过混合潜变量实现多样化、相关性和连贯性的开放式对话生成

    本文提出了一种基于连续和离散的混合潜变量方法（Hybrid Latent Variable method），并构建了一种 Conditional Hybrid Variational Transformer（CHVT）模型，该模型可以生成具有多样性且具有相关性和连贯性的对话。实验结果表明，与传统的 transformer-based 变分机制相比，CHVT 在多样性、相关性和连贯性指标方面具有优势。同时，本文还展示了将 HLV 应用于微调两个预训练对话模型（PLATO 和 BART-base）的好处。

    Dec, 2022

  • 层级变分模型

    通过引入分层变分模型来规范表达力强的变分分布，以提高黑盒变分推断的计算效率和可扩展性，并通过在深度定性潜变量模型中进行了研究来实现更高的后验品质。

    Nov, 2015

  • 预训练语言模型渐进式生成长文本

    该论文提出了一种通过逐步完善领域特定的关键词，并在多个阶段逐步把它们转换为完整段落生成文本的简单而有效的方法，该方法利用了预先训练的大规模语言模型，在质量和样本效率方面显着优于仅仅在小语料库上微调的大型语言模型和其他规划 - 生成方法。

    Jun, 2020