EMNLPJan, 2017

利用序列到序列模型生成高质量和信息丰富的对话回复

PDF
TL;DR该文研究应用序列到序列模型解决对话响应生成问题的方法，使用基于注意力机制的解码器保证响应内容连贯性，并提出了一种名为‘glimpse-model’的实用方法以适应大型数据集，并使用随机 beam 搜索算法注入多样性来增加生成可接受响应的比例和整体响应长度。
sequence-to-sequence modelsconversation response generationself-attentionglimpse-modelstochastic beam-search algorithm
发现论文，激发创造
  • 检索与精炼：用于对话的改进序列生成模型

    本研究发展了一种融合了两种不同方法的模型，能够检索出机器人回答，并将其作为附加语境进行精细调节，从而产生了更准确、更生动、更吸引人的回答。在最近的 CONVAI2 挑战评估中，该模型在人类评估中明显优于传统的检索和生成模型。

    Aug, 2018

  • 自动化客户支持

    本论文比较了三种模型在自动客服中的应用：检索模型，基于序列到序列模型的注意力模型和 Transformer 模型。其中，实验表明序列到序列模型在语义和词重复方面优于其他两种模型。

    Sep, 2018

  • 从正向和反向序列到生成短文本会话的内容引入方法

    本文提出了一种基于内容引入的神经网络生成式对话系统方法，使用点间互信息预测名词作为关键词，并采用 seq2BF 模型生成包含关键字的回答，该方法在人类评估和熵测量方面明显优于传统的序列到序列方法。

    Jul, 2016

  • 生成式深度神经网络在对话中的应用：简要综述

    该研究探讨了基于深度神经网络的自动生成响应的模型，着重讨论了结构松散的任务，如基于单词级别的对话响应生成，并提出了基于生成的编码器 - 解码器神经网络架构的新模型，以增强对话的长期历史纪录、建模对话中的不确定性和歧义性、生成具有高级组合结构的响应。

    Nov, 2016

  • 面向任务的对话的序列到序列学习与对话状态表示

    该论文提出了一种新的框架，将对话状态建模为固定大小的分布式表示，并使用注意机制查询知识库，以解决任务导向的对话系统中的问题。实验结果显示，这种框架在自动评估和人类评估上都明显优于其他基于序列到序列模型的模型。

    Jun, 2018

  • 序列转序列模型中更好的解码和语言模型集成

    该研究分析了一个基于注意力机制的序列到序列语音识别系统，提出了解决其预测过于自信和产生不完整转录的问题的实用解决方案，并在没有语言模型的情况下，其词错误率为 10.6％，与 trigram 语言模型一起达到了 6.7％的词错误率。

    Dec, 2016

  • 序列对序列模型可直接翻译外语

    我们提出一种递归编码器 - 解码器深度神经网络架构，直接将一种语言中的语音转换为另一种语言中的文本，通过多任务训练序列到序列的语音翻译和识别模型通过共享编码器网络来提高性能。

    Mar, 2017

  • 利用背景知识构建对话系统

    为了训练自然对话模型，作者创建了一个新的包含电影聊天信息和相关背景知识的数据集，并使用三种不同的模型对这个数据集进行了基准测试。

    Sep, 2018

  • 基于深度强化学习的序列到序列模型

    本文介绍最近相结合的 seq2seq，深度神经网络和加强学习模型，考虑如何在决策制定的 RL 方法中利用序列到序列模型的长期记忆能力来解决复杂的问题，提出并探讨 RL 方法解决序列到序列模型领域常见的曝光偏差而且在训练与测试的指标上也不一致的两个问题，并提供了大多数 RL 模型的源代码以支持抽象文本摘要的复杂任务。

    May, 2018

  • 基于注意力语言模型的一致对话

    本研究采用 RNN 型对话模型和动态注意力机制建模了一种连贯的会话延续方法，并通过应用到开放领域和封闭领域的对话数据集进行了评估，结果显示出在多个指标上显著优于基线模型，同时还能通过主题建模进行更进一步的连贯性提升。

    Nov, 2016