ACLApr, 2018

Mem2Seq: 将知识库有效地整合到端到端任务导向的对话系统中

PDF
TL;DR本文提出了一种名为记忆到序列（Mem2Seq）的神经生成模型，该模型将多跳记忆和指针网络的思想结合在一起，用于解决端到端面向任务的对话系统中包含知识库的挑战。我们实验证明 Mem2Seq 可以控制每个生成步骤，并展示其多跳注意机制如何帮助学习记忆之间的相关性。此外，我们的模型是相当普适的，没有复杂的任务特定设计。因此，我们展示了 Mem2Seq 可以更快地训练并在三个不同的面向任务的对话数据集上达到最先进的性能水平。
task-orienteddialog systemsknowledge basesmem2seqneural generative model
发现论文，激发创造
  • 门控端到端记忆网络

    本文提出了一种新的、受计算机视觉中连接快捷原则启发的端到端可训练内存网络 (End-to-End trainable Memory Networks) 结构 ——Gated End-to-End trainable Memory Networks (GMemN2N)，该结构无需使用任何额外的监督信号，可以显著提高 20 bAbI 数据集的最具挑战性的任务和真人机器人对话 (DSTC-2) 数据集。

    Oct, 2016

  • 基于注意力神经网络的图到序列学习

    本论文提出了一种新颖的通用端对端图到序列神经编解码模型，该模型使用改进的基于图神经网络的聚合策略产生节点和图嵌入，引入了注意机制，实现了更好地处理大型图，并在多项任务中取得了最先进的性能，显著优于现有的图神经网络、Seq2Seq 和 Tree2Seq 模型。

    Apr, 2018

  • 实现任务导向对话的流畅性和连贯性

    本论文研究了如何在实际的客服对话场景中，生成自然流畅的语言回应和正确的外部操作指令，使用了序列到序列模型并采用了近邻基于嵌入空间的方法，在确保对话连贯性、生成准确的外部操作指令的同时，显著提高了回应的流利程度和准确性。

    Apr, 2018

  • 序列到序列学习作为 Beam-Search 优化

    该研究介绍了一种基于全局序列评分学习的 Sequence-to-Sequence (seq2seq) 模型和波束搜索训练方案，通过避免局部训练的传统偏差问题，统一训练损失和测试时间使用，并保留 seq2seq 的有效训练方法。在单词排序、解析和机器翻译三个不同的序列到序列任务中，该系统优于基于注意力的 seq2seq 系统高度优化的系统和其他基准线。

    Jun, 2016

  • 利用异构记忆网络进行面向任务的对话生成

    介绍一种新的外部记忆网络 -- 异构记忆网络（HMNs），用于解决现有的内存网络在从不同来源利用异构信息方面表现不佳的问题。该方法背景知识元组和历史的对话串都被编码和存储到记忆中，并在译码期间使用门控机制进一步增强了上下文感知性记忆。实验结果表明，与数据驱动的最新任务导向式对话模型相比，使用 HMNs 极大地提高了模型的表现。

    Sep, 2019

  • 序列到序列学习的深度基于记忆的架构

    DEEPMEMORY 是一种基于神经网络的序列到序列学习框架，采用非线性转换方法来将输入序列（比如中文句子）转换到目标输出序列（比如翻译成英文），其使用内存的堆叠层存储中间表示并进行读写操作来实现从一种表示到另一种表示的非线性转换，这种方法可以处理机器翻译等领域的非常复杂的序列数据，同时 DEEPMEMORY 可以通过正常的反向传播算法进行训练。

    Jun, 2015

  • 面向任务的对话的序列到序列学习与对话状态表示

    该论文提出了一种新的框架，将对话状态建模为固定大小的分布式表示，并使用注意机制查询知识库，以解决任务导向的对话系统中的问题。实验结果显示，这种框架在自动评估和人类评估上都明显优于其他基于序列到序列模型的模型。

    Jun, 2018

  • 基于知识的神经对话模型

    本文针对神经网络模型生成内容不足的对话应用展开了研究，提出了一种全新的、基于数据和知识驱动的神经对话模型，该模型通过同时考虑历史对话和外部 “事实” 来生成更有用的回应，实验证明该方法在开放领域中具有广泛应用前景，相较于基线模型的 Seq2Seq 方法，能够显著提高输出的信息量。

    Feb, 2017

  • 序列转序列模型中更好的解码和语言模型集成

    该研究分析了一个基于注意力机制的序列到序列语音识别系统，提出了解决其预测过于自信和产生不完整转录的问题的实用解决方案，并在没有语言模型的情况下，其词错误率为 10.6％，与 trigram 语言模型一起达到了 6.7％的词错误率。

    Dec, 2016

  • 基于深度强化学习的序列到序列模型

    本文介绍最近相结合的 seq2seq，深度神经网络和加强学习模型，考虑如何在决策制定的 RL 方法中利用序列到序列模型的长期记忆能力来解决复杂的问题，提出并探讨 RL 方法解决序列到序列模型领域常见的曝光偏差而且在训练与测试的指标上也不一致的两个问题，并提供了大多数 RL 模型的源代码以支持抽象文本摘要的复杂任务。

    May, 2018