EMNLPOct, 2021

DiscoDVT: 使用意识到语篇的离散变分变换器生成长文本

PDF
TL;DR本文提出 DiscoDVT：一种基于离散变分 Transformer 的话语感知模型，用于帮助预训练语言模型生成保持长距离连贯性的长文章。通过学习一个可以概括全文结构的离散变量序列，并利用其指导每个解码步骤的生成过程。试验表明，离散编码与话语结构有显著联系，提高长段连贯性。
pre-trained language modelsdiscodvtcoherencediscourse-awarelatent codes
发现论文，激发创造
  • 文本生成的深度潜在变量模型

    使用深度潜变量模型进行文本生成可以提高标准编码器 - 解码器模型的效果，同时保持深度神经网络的表达能力。

    Mar, 2022

  • 通过混合潜变量实现多样化、相关性和连贯性的开放式对话生成

    本文提出了一种基于连续和离散的混合潜变量方法（Hybrid Latent Variable method），并构建了一种 Conditional Hybrid Variational Transformer（CHVT）模型，该模型可以生成具有多样性且具有相关性和连贯性的对话。实验结果表明，与传统的 transformer-based 变分机制相比，CHVT 在多样性、相关性和连贯性指标方面具有优势。同时，本文还展示了将 HLV 应用于微调两个预训练对话模型（PLATO 和 BART-base）的好处。

    Dec, 2022

  • 多样化回复生成的变分 Transformer

    本文提出了变分 Transformer（VT）算法，将变分自注意力前馈序列模型与 CVAE 的变分性质相结合，从而有效处理对话响应生成领域中高熵任务的问题，并在多个对话数据集上获得了性能提升。

    Mar, 2020

  • 对话生成中改进变分编码器 - 解码器

    本文通过将训练步骤分为两个阶段来解决 KL - 消失问题，采用多层感知器对高斯噪声进行变换来对潜在变量进行采样，从而实现更灵活的分布，实验结果表明，我们的模型在度量和人类评估方面都有大幅度提高。

    Feb, 2018

  • 语境感知神经提取式文本摘要

    使用 Discobert 模型从已修剪的子句中提取文本，通过基于结构的话语图来捕获在 BERT 中不能很好捕获的长程依赖关系，该模型在流行的摘要基准测试中表现出显着的优越性。

    Oct, 2019

  • 文本处理的神经变分推断

    通过引入一个通用变分推断框架来构建生成式和条件文本模型的变分推断网络，我们验证了该框架在生成式文档建模和监督式问题回答两个不同的文本建模应用中的有效性。

    Nov, 2015

  • 短文本对话生成中的离散 CVAE

    本文研究主要通过在条件变分自编码器中引入具有显式语义意义的离散潜变量，从而提高短文本对话生成质量并增加多样性。实验证明，该模型在自动评估和人类评估中表现出色。

    Nov, 2019

  • 通过建模句子级和语篇级连贯性进行长文本生成

    该论文提出了一种基于预训练的长文本生成模型，通过预测句子间语义相似度和区分正常和洗牌句序的两个预训练目标来学习句子和语篇级别的表示，从而能够生成比现有技术更加连贯的文本。

    May, 2021

  • 通过主题感知离散潜变量学习语义文本相似度

    本文提出了一种基于主题的离散潜变量模型，通过向量量化学习句子对表示的共享潜空间，进一步将量化表示注入基于语义驱动的注意力机制变压器语言模型，以提高语义相似性的性能。

    Nov, 2022

  • 使用条件变分自编码器为神经对话模型学习语篇级多样性

    本研究提出了一种基于条件变分自编码器（CVAE）的框架，该框架利用潜在变量来学习潜在意图的分布，并仅使用贪婪解码器生成多样化响应，其可以更好地捕获感性多样性和提高决策能力。实验证明，与基线方法相比，所提出的模型可以生成更丰富的响应，并且具有更好的表现。

    Mar, 2017