AAAIFeb, 2020

基于概念学习的对话建模：蒙面和关注

PDF
TL;DR本文介绍一种通过无监督学习的方式，学习上下文中的关键概念并根据其生成回复，从而在对话建模中取得显著进展。运用的模型被称为 Mask&Focus，并通过对输入进行掩码和观察响应生成效果的方式实现对上下文概念的自动化学习，从而指导模型关注所述概念。该方法已在多个评测指标下实现比现有基线方法更好的效果。
发现论文，激发创造
  • 利用序列到序列模型生成高质量和信息丰富的对话回复

    该文研究应用序列到序列模型解决对话响应生成问题的方法，使用基于注意力机制的解码器保证响应内容连贯性，并提出了一种名为‘glimpse-model’的实用方法以适应大型数据集，并使用随机 beam 搜索算法注入多样性来增加生成可接受响应的比例和整体响应长度。

    Jan, 2017

  • 神经对话模型

    通过序列到序列框架，一种简单的端到端的对话模型方法被提出，在特定的领域和大规模通用领域的数据集上表现出很好的对话效果，并可用于执行常识推理任务。

    Jun, 2015

  • 利用背景知识构建对话系统

    为了训练自然对话模型，作者创建了一个新的包含电影聊天信息和相关背景知识的数据集，并使用三种不同的模型对这个数据集进行了基准测试。

    Sep, 2018

  • 基于 CVAE 的响应生成的焦点约束注意机制

    通过引入潜变量到 Seq2Seq 模型，利用细颗粒度和聚焦机制来充分利用语篇信息，从而生成多样化和信息丰富的响应。

    Sep, 2020

  • 基于焦点驱动的对比学习用于医学问题摘要

    我们提出了一个问题焦点驱动的对比学习框架 (QFCL)，利用对比学习在编码器和解码器两个阶段获得更好的句子级表示，从而在医学问题归纳总结任务上实现了最新的最优结果，相比于 BART 模型，准确率提升了 5.33、12.85 和 3.81 个百分点。

    Sep, 2022

  • 标记我的词：一种序列到序列的定义建模方法

    本文将定义建模任务作为一种序列到序列（sequence-to-sequence）的任务，使用基于 Transformer 的模型训练上下文匹配和定义生成，取得了最优结果。

    Nov, 2019

  • 句子级别课程学习以改进神经对话模型

    为了与人类用户进行对话，需要设计能够进行人机交互的机器智能，因此会话建模是自然语言处理中的重要任务。一个新的机器会话模型使用了逐渐构建的句子结构和复杂度的培训方法来模拟人类学习的构建过程，其通过按照先 “短” 后 “长” 的句子对训练，最终比标准文本准备训练的模型具有更低的验证误差。

    May, 2023

  • 基于知识的神经对话模型

    本文针对神经网络模型生成内容不足的对话应用展开了研究，提出了一种全新的、基于数据和知识驱动的神经对话模型，该模型通过同时考虑历史对话和外部 “事实” 来生成更有用的回应，实验证明该方法在开放领域中具有广泛应用前景，相较于基线模型的 Seq2Seq 方法，能够显著提高输出的信息量。

    Feb, 2017

  • 基于 Transformer 的端到端语音识别语义掩码

    提出了一种基于语义掩蔽的正则化方法，使用注意力机制的编解码器模型，以及 transformer-based 模型，以提升 E2E 模型的训练效果。通过实验验证，在 Librispeech 960h 和 TedLium2 数据集上取得了 E2E 模型领域的最新性能。

    Dec, 2019

  • 使用遮蔽注意力生成探测大脑上下文敏感性

    利用 GPT-2 变形金刚生成的单词嵌入来测试大脑对自然文本中背景信息的反应，结果表明语言网络中的大多数皮层对背景信息敏感，右半球对于较长场景的反应比左半球更敏感，支持以前的上下文敏感度分析并有助于量化每个体素的上下文整合窗口大小。

    May, 2023