Apr, 2022

DialogVED：一个预训练的潜变量编码器解码器模型，用于对话响应生成

HTML
PDF
TL;DR本文提出了一个新的对话预训练框架DialogVED，使用Reddit进行了预训练，并在PersonaChat，DailyDialog和DSTC7-AVSD数据集上进行了实验，结果表明我们的模型在所有这些数据集上实现了最新的最优结果，其中主要挑战是生成相关且多样化的响应。
发现论文，激发创造
  • 一种分层潜变量编码器-解码器模型生成对话

    提出一种基于神经网络的生成架构，通过潜在的随机变量来建模具有复杂依赖关系的分层结构顺序数据，将该模型应用于对话响应生成任务并与最近的神经网络架构进行比较，实验证明该模型可以提高生成长输出的准确性并维持上下文信息。

    May, 2016

  • 使用条件变分自编码器为神经对话模型学习语篇级多样性

    本研究提出了一种基于条件变分自编码器（CVAE）的框架，该框架利用潜在变量来学习潜在意图的分布，并仅使用贪婪解码器生成多样化响应，其可以更好地捕获感性多样性和提高决策能力。实验证明，与基线方法相比，所提出的模型可以生成更丰富的响应，并且具有更好的表现。

    Mar, 2017

  • 一种基于条件变分框架的对话生成模型

    提出了一种框架，基于特定属性实现条件式回应生成，应用于两种不同的情景，结果表明模型在生成符合指定属性的响应方面具有潜力。

    Apr, 2017

  • 一种变分对话建模的分层潜变结构

    通过使用层次潜在变量的结构和使用发言丢失正则化，我们提出一个名为VHCR的新模型，该模型成功地利用了潜在变量，并在会话生成方面优于现有技术。

    Apr, 2018

  • 可解释性神经对话生成的无监督离散句子表示学习

    本研究利用变量自编码器 (VAE) 算法提出DI-VAE和DI-VST 模型，结合无监督离散语句表示学习方法，以增强对话模型的解释性生成能力，并成功验证其在真实对话数据集上的有效性。

    Apr, 2018

  • DialogWAE: 条件Wasserstein自编码器的多模态响应生成

    提出了 DialogWAE，这是一种特殊设计的条件 WAE，用于对话建模，能够通过在潜变量空间内训练 GAN 来模拟数据的分布，并进一步发展了高斯混合先验网络，能够产生具有更连贯、更丰富和更多样化响应的结果。

    May, 2018

  • DialoGPT：大规模生成式预训练技术在对话响应生成中的应用

    本文介绍了 DialoGPT，一种大型的、可调整的神经对话响应生成模型，它在 Reddit 上 2005 年至 2017 年的时间跨度内提取的 1.47 亿条对话样本上进行训练。在单轮对话设置中，DialoGPT 能够达到接近人类的性能水平，能够生成比强基线系统更相关、更富有内涵和更具上下文一致性的响应。该预训练模型和训练流程已公开发布，以促进神经响应生成研究和更智能的开放域对话系统的开发。

    Nov, 2019

  • 基于预训练Transformer自然语言模型的开放领域对话生成的实证研究

    本研究使用预训练模式和微调模式对基于Transformer的语言模型进行实证研究，探讨其在开放域对话生成任务中的性能表现和多样性，发现各种变形策略对生成结果都有不同程度的影响。

    Mar, 2020

  • 从语义潜空间生成对话回复

    本研究针对现有开放领域对话生成模型无法合理组织多个语义相近的回复而导致生成通用、无信息量的回答的问题，提出在潜在空间上进行回归任务的代替方案，通过学习提示和回答之间的成对关系，使语义相关的句子在潜在空间上靠近。人类评估表明，在连续空间上学习任务可以生成相关且信息丰富的回复。

    Oct, 2020

  • DialogBERT: 通过学习恢复和排序话语生成具有话语意识的响应

    本文提出了 DialogBERT，这是一种新型的对话响应生成模型，通过使用分层Transformer架构和两个训练目标，包括掩码语调回归和分布式语调顺序排名来提高先前基于PLM的对话模型，在三个多轮对话数据集上进行实验证明，相比于BART和DialoGPT，DialogBERT在定量评估方面表现出色，并且在人类评估中证明，DialogBERT比基线模型生成的响应更连贯、信息量更大，并更加接近人类表现。

    Dec, 2020