变分记忆编码器 - 解码器 | BriefGPT

Jul, 2018

变分记忆编码器 - 解码器

Variational Memory Encoder-Decoder

Hung Le, Truyen Tran, Thin Nguyen, Svetha Venkatesh

TL;DR本文介绍了通过使用外部记忆的混合模型 —— 变分记忆编码器 - 解码器（VMED），在保持一致性的同时引入变异的方法来生成对话中的话语。在各种对话数据集上的实验证明，VMED 在指标和素质评估方面均取得了显著的改进。

Abstract

Introducing variability while maintaining coherence is a core task in learning to generate utterances in conversation. Standard neural encoder-decoder models and their extensions using conditional variational autoencoder often result in either trivial or digressive responses. To overco

variability neural encoder-decoder external memory mixture model conversational datasets

发现论文，激发创造

对话生成中改进变分编码器 - 解码器

本文通过将训练步骤分为两个阶段来解决 KL - 消失问题，采用多层感知器对高斯噪声进行变换来对潜在变量进行采样，从而实现更灵活的分布，实验结果表明，我们的模型在度量和人类评估方面都有大幅度提高。

Feb, 2018

变分神经机器翻译

本文提出了一种变分神经机器翻译编码器 - 解码器模型，引入了一个连续潜变量来明确建模源句子的潜在语义并引导目标翻译的生成，通过神经后验估计技术对该模型进行训练，在中英文和英德翻译任务中实现了显著的性能提升。

May, 2016

使用条件变分自编码器为神经对话模型学习语篇级多样性

本研究提出了一种基于条件变分自编码器（CVAE）的框架，该框架利用潜在变量来学习潜在意图的分布，并仅使用贪婪解码器生成多样化响应，其可以更好地捕获感性多样性和提高决策能力。实验证明，与基线方法相比，所提出的模型可以生成更丰富的响应，并且具有更好的表现。

Mar, 2017

序列到序列模型的变分注意力

本文提出了一种变分注意力机制来避免变分编码器 - 解码器中的未被注意模型绕过，并在增加生成语句的多样性的同时不降低其质量。

Dec, 2017

短文本对话生成中的离散 CVAE

本文研究主要通过在条件变分自编码器中引入具有显式语义意义的离散潜变量，从而提高短文本对话生成质量并增加多样性。实验证明，该模型在自动评估和人类评估中表现出色。

Nov, 2019

生成模型中的变分记忆寻址

通过为生成模型增加外部内存，我们将内存模块的输出解释为条件混合分布，在这种分布中读操作对应着从内存中采样并且取回对应的内容。这个视角允许我们使用变分推理在进行内存寻址，从而通过使用目标信息指导对内存查找的方法来有效训练我们的内存模块以增强生成模型。

Sep, 2017

条件变分自编码器用于神经机器翻译

探讨使用潜变量模型实现神经机器翻译中的条件文本生成性能，通过引入连续潜变量来增强编码器 - 解码器 NMT 范例，利用 Inference Network 中的共同关注机制来扩展该模型，使用不同方法试图缓解后验崩溃问题，并且探究学习潜空间的能力，该模型能有效地优化翻译模型。

Dec, 2018

DialogVED：一个预训练的潜变量编码器解码器模型，用于对话响应生成

本文提出了一个新的对话预训练框架 DialogVED，使用 Reddit 进行了预训练，并在 PersonaChat，DailyDialog 和 DSTC7-AVSD 数据集上进行了实验，结果表明我们的模型在所有这些数据集上实现了最新的最优结果，其中主要挑战是生成相关且多样化的响应。

Apr, 2022

多样化回复生成的变分 Transformer

本文提出了变分 Transformer（VT）算法，将变分自注意力前馈序列模型与 CVAE 的变分性质相结合，从而有效处理对话响应生成领域中高熵任务的问题，并在多个对话数据集上获得了性能提升。

Mar, 2020

使用匹配条件变分自编码器实现多样化回复建议

针对商业即时通讯系统中的自动回复建议生成进行多样化处理，包括使用信息检索结构实现对话模型、通过潜变量模型实现回复建议的生成以及使用约束抽样方法优化变分推断的效率等，实验证明在保证相关性的情况下，该方法能够使回复多样性提升 30-40%，并取得 5% 的点击率提升。

Mar, 2019