ACLOct, 2019

PLATO：基于离散潜变量的预训练对话生成模型

PDF
TL;DR本文提出了基于预训练模型的对话生成框架，采用灵活的注意力机制和离散的潜在变量，解决了响应生成中存在的一对多映射问题，并设计了两种互补的任务对话响应生成和潜在动作识别。实验结果表明，该框架在三个公开数据集上验证了其优越性。
pre-trainingdialogue generationattention mechanismslatent variablesnatural language processing
发现论文，激发创造
  • DialogVED：一个预训练的潜变量编码器解码器模型，用于对话响应生成

    本文提出了一个新的对话预训练框架 DialogVED，使用 Reddit 进行了预训练，并在 PersonaChat，DailyDialog 和 DSTC7-AVSD 数据集上进行了实验，结果表明我们的模型在所有这些数据集上实现了最新的最优结果，其中主要挑战是生成相关且多样化的响应。

    Apr, 2022

  • 面向对话人工智能的统一预训练框架

    本文探讨了 PLATO-2 在各种对话系统中的应用，包括开放域对话、知识基础对话和任务导向对话，并通过参与 DSTC9 的多项任务的综合评估证实其在各种对话系统中的有效性。

    May, 2021

  • 朝向高效的对话预训练：具有可转移和可解释的潜在结构

    本文提出了一种轻量级且透明的基于潜在结构的对话生成模型，通过解析离散潜变量来实现可解释性，实证表明该模型相对于四种强基准模型有更好的对话质量和更快的运行速度。

    Oct, 2022

  • PLATO-XL: 探索对话生成的大规模预训练

    采用统一 transformer 架构和多方知觉预训练，PLATO-XL 超越其他方法在社交媒体上进行中英文闲聊，同时在基于知识的对话和任务导向的会话等多个会话任务上获得令人满意的结果，证实其作为会话人工智能的基础模型的潜力。

    Sep, 2021

  • 基于预训练语言模型的知识驱动对话生成

    我们使用预训练的语言模型来研究基于知识的对话生成，通过知识选择模块和无监督方法来优化知识选择和响应生成，实验结果表明，我们的模型在自动评估和人类判断方面都显著优于现有方法。

    Oct, 2020

  • 深度注意力潜变量模型的知识驱动响应生成

    该论文尝试采用一个采用联合关注机制、根据对话上下文和额外知识信息的变分生成模型，生成多样和信息丰富的回复，解决了现有模型难以生成具有信息量的回复的问题。

    Mar, 2019

  • 利用潜在话语推断预训练多方对话模型

    通过无监督潜在变量推理方法联合推断对话结构并预训练多方对话感知模型，实现了优于基线的最新技术结果。

    May, 2023

  • 使用较少的监督学习可解释的潜在对话动作

    本文介绍了一种用于解释任务对话建模的新型系统，基于离散潜变量表示对话行为。该模型基于变分循环神经网络，无需显式的语义信息。与以前的工作不同，我们的方法分别对系统和用户轮次进行建模，同时执行数据库查询建模，使得该模型适用于任务对话，同时生成易于解释的操作潜变量。我们展示了我们的模型在三个数据集上以较少的监督下在困惑度和 BLEU 方面优于以前的方法，并提出了一种衡量对话成功的新方法，无需专家注释。最后，我们提出了一种关于系统操作的潜变量语义的新方法来解释。

    Sep, 2022

  • 潜变量对话模型及其多样性

    该研究提出了一种对话生成模型，直接捕获了可能的多样性响应，从而减少了确定性对话模型的‘无聊输出’问题。实验表明，与基线模型相比，我们的模型生成更多样的输出，并且比从确定性编码器 - 解码器模型中进行抽样生成的输出更加一致接受。

    Feb, 2017

  • PLATO-2: 通过课程学习构建开放域聊天机器人

    使用 PLATO-2 和课程学习的有效训练过程构建高质量的开放域聊天机器人，该过程涉及两个阶段的学习，第一阶段训练粗糙生成模型来学习响应生成，在细糙的生成模型和评估模型的指导下继续训练来生成多样的响应并选出最佳响应，PLATO-2 在中英文数据上得到了验证和优越性验证，达到了最新的卓越结果。

    Jun, 2020