ACLMar, 2017

使用条件变分自编码器为神经对话模型学习语篇级多样性

PDF
TL;DR本研究提出了一种基于条件变分自编码器（CVAE）的框架，该框架利用潜在变量来学习潜在意图的分布，并仅使用贪婪解码器生成多样化响应，其可以更好地捕获感性多样性和提高决策能力。实验证明，与基线方法相比，所提出的模型可以生成更丰富的响应，并且具有更好的表现。
neural encoder-decoder modelsconditional variational autoencodersdiverse responsesconversation modelingdiscourse-level decision-making
发现论文，激发创造
  • 高级条件变分自编码器（A-CVAE）：通过解离潜在特征表示进行开放领域对话生成解释的探索

    本研究旨在通过介绍一种认知方法，利用先前的知识驱动生成模型，实现在中尺度特征分离中调节潜在变量，使得深度学习的开放领域对话系统可以生成更高质量和更可解释性的对话。

    Jul, 2022

  • 对话生成中改进变分编码器 - 解码器

    本文通过将训练步骤分为两个阶段来解决 KL - 消失问题，采用多层感知器对高斯噪声进行变换来对潜在变量进行采样，从而实现更灵活的分布，实验结果表明，我们的模型在度量和人类评估方面都有大幅度提高。

    Feb, 2018

  • 短文本对话生成中的离散 CVAE

    本文研究主要通过在条件变分自编码器中引入具有显式语义意义的离散潜变量，从而提高短文本对话生成质量并增加多样性。实验证明，该模型在自动评估和人类评估中表现出色。

    Nov, 2019

  • 多样化回复生成的变分 Transformer

    本文提出了变分 Transformer（VT）算法，将变分自注意力前馈序列模型与 CVAE 的变分性质相结合，从而有效处理对话响应生成领域中高熵任务的问题，并在多个对话数据集上获得了性能提升。

    Mar, 2020

  • 一种变分对话建模的分层潜变结构

    通过使用层次潜在变量的结构和使用发言丢失正则化，我们提出一个名为 VHCR 的新模型，该模型成功地利用了潜在变量，并在会话生成方面优于现有技术。

    Apr, 2018

  • 使用匹配条件变分自编码器实现多样化回复建议

    针对商业即时通讯系统中的自动回复建议生成进行多样化处理，包括使用信息检索结构实现对话模型、通过潜变量模型实现回复建议的生成以及使用约束抽样方法优化变分推断的效率等，实验证明在保证相关性的情况下，该方法能够使回复多样性提升 30-40%，并取得 5% 的点击率提升。

    Mar, 2019

  • DialogVED：一个预训练的潜变量编码器解码器模型，用于对话响应生成

    本文提出了一个新的对话预训练框架 DialogVED，使用 Reddit 进行了预训练，并在 PersonaChat，DailyDialog 和 DSTC7-AVSD 数据集上进行了实验，结果表明我们的模型在所有这些数据集上实现了最新的最优结果，其中主要挑战是生成相关且多样化的响应。

    Apr, 2022

  • 通过自标记条件变分自编码器提高多样文本生成

    本文介绍了一种基于自标记变分自编码器（SLCVAE）的方法，以解决 CVAE 模型中 KL-vanishing 问题，提高文本生成多样性。同时，提供了一个大型本地一对多数据集，支持此方法的研究。

    Mar, 2019

  • 条件变分自编码器用于神经机器翻译

    探讨使用潜变量模型实现神经机器翻译中的条件文本生成性能，通过引入连续潜变量来增强编码器 - 解码器 NMT 范例，利用 Inference Network 中的共同关注机制来扩展该模型，使用不同方法试图缓解后验崩溃问题，并且探究学习潜空间的能力，该模型能有效地优化翻译模型。

    Dec, 2018

  • 跨领域变分自然语言生成在口语对话系统中的应用

    本文提出了一种基于条件变分自编码器 (CVAE) 的 RNN 的跨领域自然语言生成方法，实现了高度多样性的句子生成，并在数据有限的情况下展现了更好的性能。

    Dec, 2018