Jan, 2021

基于 Transformer 的条件变分自编码器用于可控的故事生成

PDF
TL;DR本文提出了一种基于转换器和变分自动编码器（VAE）的条件变分自动编码器（CVAE）方法，在保持卓越的生成效果的同时增强了可控性和表征学习能力，实现了对长文本的神经故事生成。
发现论文，激发创造
  • 控制性文本生成的变分自编码器综述

    介绍了神经网络生成模型、自然语言处理、VAE、可控制生成、深度神经网络等相关概念和应用。

    Nov, 2022

  • ControlVAE: 可控变分自编码器

    提出控制变分自编码器框架 ControlVAE，该框架使用基于自动控制理论的控制器自动调节 VAE 目标中的权重，以改进生成模型的表现，并在语言建模，解缠杂表示学习和图像生成等三个应用中进行评估，结果表明 ControlVAE 可以实现更好的解缠杂和重建质量。

    Apr, 2020

  • 无监督条件下可控文本表示的变分学习

    本文发现，序列变分自编码器（VAE）在文本数据上训练时，由于修改后的编码值往往落在聚合后的后验潜空间中的空洞或空缺区域，导致译码网络无法推广，因此无法正确解码并控制操纵。为此我们建议在学习到的概率单纯形上约束后验均值，并在其内进行操作，以解决潜空缺陷问题，并在文本风格转移上取得了成功。

    May, 2019

  • 多样化回复生成的变分 Transformer

    本文提出了变分 Transformer（VT）算法，将变分自注意力前馈序列模型与 CVAE 的变分性质相结合，从而有效处理对话响应生成领域中高熵任务的问题，并在多个对话数据集上获得了性能提升。

    Mar, 2020

  • 文本生成的隐式深度潜变量模型

    本文提出了一种基于采样的变分分布表示方法，用于自然语言生成中 deep latent variable models，并通过最大化互信息的正则化来解决 posterior collapse 问题，进一步发展了 VAE，并在多个文本生成场景中证明了其有效性和通用性。

    Aug, 2019

  • 条件变分自编码器用于神经机器翻译

    探讨使用潜变量模型实现神经机器翻译中的条件文本生成性能，通过引入连续潜变量来增强编码器 - 解码器 NMT 范例，利用 Inference Network 中的共同关注机制来扩展该模型，使用不同方法试图缓解后验崩溃问题，并且探究学习潜空间的能力，该模型能有效地优化翻译模型。

    Dec, 2018

  • 利用变压器量化变分自编码器改进离散潜空间中的语义控制

    通过使用 Vector Quantized Variational AutoEncoders (VQVAEs) 内的离散潜空间来提高 Transformer-based VAE 中的语义控制和生成性能，我们提出了一种新型模型 T5VQVAE，利用 VQVAEs 的可控性来引导 T5 中的自注意机制，从而更好地保留语义信息并取得优于现有 VAE 模型（包括 Optimus）的性能，在自动编码、文本转换和推理等不同任务中。此外，T5VQVAE 还表现出了改进的推理能力，为下游自然语言和符号推理任务提供了潜在的应用。

    Feb, 2024

  • 短文本对话生成中的离散 CVAE

    本文研究主要通过在条件变分自编码器中引入具有显式语义意义的离散潜变量，从而提高短文本对话生成质量并增加多样性。实验证明，该模型在自动评估和人类评估中表现出色。

    Nov, 2019

  • 基于 Transformer 的有条件变分自编码器对话生成

    该论文介绍了一种新的 CVAE-T 对话模型，基于 Transformer 的结构，通过训练包含正负样本的数据并引入正则化项，可以在生成回复时提高信息量。

    Oct, 2022

  • 高级条件变分自编码器（A-CVAE）：通过解离潜在特征表示进行开放领域对话生成解释的探索

    本研究旨在通过介绍一种认知方法，利用先前的知识驱动生成模型，实现在中尺度特征分离中调节潜在变量，使得深度学习的开放领域对话系统可以生成更高质量和更可解释性的对话。

    Jul, 2022