Apr, 2022

DialogVED：一个预训练的潜变量编码器解码器模型，用于对话响应生成

PDF
TL;DR本文提出了一个新的对话预训练框架 DialogVED，使用 Reddit 进行了预训练，并在 PersonaChat，DailyDialog 和 DSTC7-AVSD 数据集上进行了实验，结果表明我们的模型在所有这些数据集上实现了最新的最优结果，其中主要挑战是生成相关且多样化的响应。
dialog response generationdialogvedlatent variablespre-training frameowrkstate-of-the-art
发现论文，激发创造
  • 对话生成中改进变分编码器 - 解码器

    本文通过将训练步骤分为两个阶段来解决 KL - 消失问题，采用多层感知器对高斯噪声进行变换来对潜在变量进行采样，从而实现更灵活的分布，实验结果表明，我们的模型在度量和人类评估方面都有大幅度提高。

    Feb, 2018

  • PLATO：基于离散潜变量的预训练对话生成模型

    本文提出了基于预训练模型的对话生成框架，采用灵活的注意力机制和离散的潜在变量，解决了响应生成中存在的一对多映射问题，并设计了两种互补的任务对话响应生成和潜在动作识别。实验结果表明，该框架在三个公开数据集上验证了其优越性。

    Oct, 2019

  • 一种分层潜变量编码器 - 解码器模型生成对话

    提出一种基于神经网络的生成架构，通过潜在的随机变量来建模具有复杂依赖关系的分层结构顺序数据，将该模型应用于对话响应生成任务并与最近的神经网络架构进行比较，实验证明该模型可以提高生成长输出的准确性并维持上下文信息。

    May, 2016

  • 使用条件变分自编码器为神经对话模型学习语篇级多样性

    本研究提出了一种基于条件变分自编码器（CVAE）的框架，该框架利用潜在变量来学习潜在意图的分布，并仅使用贪婪解码器生成多样化响应，其可以更好地捕获感性多样性和提高决策能力。实验证明，与基线方法相比，所提出的模型可以生成更丰富的响应，并且具有更好的表现。

    Mar, 2017

  • 基于 Transformer 的有条件变分自编码器对话生成

    该论文介绍了一种新的 CVAE-T 对话模型，基于 Transformer 的结构，通过训练包含正负样本的数据并引入正则化项，可以在生成回复时提高信息量。

    Oct, 2022

  • 潜变量对话模型及其多样性

    该研究提出了一种对话生成模型，直接捕获了可能的多样性响应，从而减少了确定性对话模型的‘无聊输出’问题。实验表明，与基线模型相比，我们的模型生成更多样的输出，并且比从确定性编码器 - 解码器模型中进行抽样生成的输出更加一致接受。

    Feb, 2017

  • 短文本对话生成中的离散 CVAE

    本文研究主要通过在条件变分自编码器中引入具有显式语义意义的离散潜变量，从而提高短文本对话生成质量并增加多样性。实验证明，该模型在自动评估和人类评估中表现出色。

    Nov, 2019

  • 可解释性神经对话生成的无监督离散句子表示学习

    本研究利用变量自编码器 (VAE) 算法提出 DI-VAE 和 DI-VST 模型，结合无监督离散语句表示学习方法，以增强对话模型的解释性生成能力，并成功验证其在真实对话数据集上的有效性。

    Apr, 2018

  • 无监督对话结构学习

    通过使用改良后的 VRNN 模型和离散潜在向量来提取对话结构，我们的方法在预测未见数据方面具有优异性能，并在加入对话结构后的奖励功能设计实现了更快的强化学习收敛和更好的结果。

    Apr, 2019

  • 朝向高效的对话预训练：具有可转移和可解释的潜在结构

    本文提出了一种轻量级且透明的基于潜在结构的对话生成模型，通过解析离散潜变量来实现可解释性，实证表明该模型相对于四种强基准模型有更好的对话质量和更快的运行速度。

    Oct, 2022