EMNLPOct, 2022

朝向高效的对话预训练：具有可转移和可解释的潜在结构

PDF
TL;DR本文提出了一种轻量级且透明的基于潜在结构的对话生成模型，通过解析离散潜变量来实现可解释性，实证表明该模型相对于四种强基准模型有更好的对话质量和更快的运行速度。
dialogue generationtransfer learninglatent structureexplanabilitynatural language processing
发现论文，激发创造
  • PLATO：基于离散潜变量的预训练对话生成模型

    本文提出了基于预训练模型的对话生成框架，采用灵活的注意力机制和离散的潜在变量，解决了响应生成中存在的一对多映射问题，并设计了两种互补的任务对话响应生成和潜在动作识别。实验结果表明，该框架在三个公开数据集上验证了其优越性。

    Oct, 2019

  • 利用潜在话语推断预训练多方对话模型

    通过无监督潜在变量推理方法联合推断对话结构并预训练多方对话感知模型，实现了优于基线的最新技术结果。

    May, 2023

  • DialogVED：一个预训练的潜变量编码器解码器模型，用于对话响应生成

    本文提出了一个新的对话预训练框架 DialogVED，使用 Reddit 进行了预训练，并在 PersonaChat，DailyDialog 和 DSTC7-AVSD 数据集上进行了实验，结果表明我们的模型在所有这些数据集上实现了最新的最优结果，其中主要挑战是生成相关且多样化的响应。

    Apr, 2022

  • 层级归纳迁移学习在持续对话学习中的应用

    本文提出了一种基于递归传递的框架，通过引入适配器模块和迁移学习来解决在线聊天场景中为每个新任务调整模型导致容量过大及知识忘却问题。实验结果表明，在部署友好型模型容量下，我们的框架表现出可比较的性能

    Mar, 2022

  • 对话理解的结构预训练

    本文提出了结构化预训练对话阅读器 SPIDER，通过两个训练目标相结合以捕获对话独有的特征，即复原语音顺序和句子骨干规则化，实现了从对话文本中有效地捕获任务相关知识，并在广泛使用的对话基准测试中取得了显著的实验结果。

    May, 2021

  • 使用较少的监督学习可解释的潜在对话动作

    本文介绍了一种用于解释任务对话建模的新型系统，基于离散潜变量表示对话行为。该模型基于变分循环神经网络，无需显式的语义信息。与以前的工作不同，我们的方法分别对系统和用户轮次进行建模，同时执行数据库查询建模，使得该模型适用于任务对话，同时生成易于解释的操作潜变量。我们展示了我们的模型在三个数据集上以较少的监督下在困惑度和 BLEU 方面优于以前的方法，并提出了一种衡量对话成功的新方法，无需专家注释。最后，我们提出了一种关于系统操作的潜变量语义的新方法来解释。

    Sep, 2022

  • 基于领域特定语言的预训练模型 —— 用于临床问答会话的对话理解

    本篇论文探讨了临床对话任务中自动化提取相关信息的挑战，提出了使用领域特定的语言预训练方法以提高对话理解的性能，结合具体的人类对话交互方式设计样本生成策略，实验结果表明该方法在低资源训练情况下取得良好表现。

    Jun, 2022

  • 基于预训练 Transformer 自然语言模型的开放领域对话生成的实证研究

    本研究使用预训练模式和微调模式对基于 Transformer 的语言模型进行实证研究，探讨其在开放域对话生成任务中的性能表现和多样性，发现各种变形策略对生成结果都有不同程度的影响。

    Mar, 2020

  • 一种分层潜变量编码器 - 解码器模型生成对话

    提出一种基于神经网络的生成架构，通过潜在的随机变量来建模具有复杂依赖关系的分层结构顺序数据，将该模型应用于对话响应生成任务并与最近的神经网络架构进行比较，实验证明该模型可以提高生成长输出的准确性并维持上下文信息。

    May, 2016

  • 无监督对话结构学习

    通过使用改良后的 VRNN 模型和离散潜在向量来提取对话结构，我们的方法在预测未见数据方面具有优异性能，并在加入对话结构后的奖励功能设计实现了更快的强化学习收敛和更好的结果。

    Apr, 2019