基于 Transformer 的有条件变分自编码器对话生成
本文提出了变分 Transformer(VT)算法,将变分自注意力前馈序列模型与 CVAE 的变分性质相结合,从而有效处理对话响应生成领域中高熵任务的问题,并在多个对话数据集上获得了性能提升。
Mar, 2020
本文研究主要通过在条件变分自编码器中引入具有显式语义意义的离散潜变量,从而提高短文本对话生成质量并增加多样性。实验证明,该模型在自动评估和人类评估中表现出色。
Nov, 2019
本文研究了 Conditional Variational AutoEncoder(CVAE)生成回答时常常与原问题不相关或缺乏逻辑性的原因,并提出了一种寻找中介变量和缓解对话中混淆偏差的方法。在此基础上,提出了动态话题图引导的条件变分自动编码器(TGG-CVAE)模型,用于补充语义空间并减少响应中混淆偏差。实验证明,所提出的模型能够生成相关且信息量丰富的回答,并在自动评估和人类评估方面优于现有的最先进模型。
Sep, 2022
通过引入自身分离的条件变分自编码器(SepaCVAE),将组信息引入到规范化的潜变量中,进一步增强了 CVAE 通过提高响应的相关性和连贯性同时保持它们的多样性和信息量在开放领域对话生成任务中的性能。
Jun, 2021
本文提出了一种基于转换器和变分自动编码器(VAE)的条件变分自动编码器(CVAE)方法,在保持卓越的生成效果的同时增强了可控性和表征学习能力,实现了对长文本的神经故事生成。
Jan, 2021
本研究旨在通过介绍一种认知方法,利用先前的知识驱动生成模型,实现在中尺度特征分离中调节潜在变量,使得深度学习的开放领域对话系统可以生成更高质量和更可解释性的对话。
Jul, 2022
通过引入 Uncertainty Aware CVAE 框架来近似和整合响应生成过程中的 aleatoric 不确定性,改善个性化和移情式对话生成中生成响应的上下文连贯性。同时,研究者们提出了一种新的自动度量方法来衡量生成响应的上下文连贯性,并且该度量与人类的判断显著相关。
Feb, 2022
本文提出了一个新的对话预训练框架 DialogVED,使用 Reddit 进行了预训练,并在 PersonaChat,DailyDialog 和 DSTC7-AVSD 数据集上进行了实验,结果表明我们的模型在所有这些数据集上实现了最新的最优结果,其中主要挑战是生成相关且多样化的响应。
Apr, 2022
针对商业即时通讯系统中的自动回复建议生成进行多样化处理,包括使用信息检索结构实现对话模型、通过潜变量模型实现回复建议的生成以及使用约束抽样方法优化变分推断的效率等,实验证明在保证相关性的情况下,该方法能够使回复多样性提升 30-40%,并取得 5% 的点击率提升。
Mar, 2019
提出了 DialogWAE,这是一种特殊设计的条件 WAE,用于对话建模,能够通过在潜变量空间内训练 GAN 来模拟数据的分布,并进一步发展了高斯混合先验网络,能够产生具有更连贯、更丰富和更多样化响应的结果。
May, 2018