EMNLPAug, 2018

基于 seq-to-seq 模型的增量式任务导向对话解释潜力分析

PDF
TL;DR本文针对合成的任务型对话数据，研究了编码器 - 解码器模型在处理话语中的犹豫和自我修正等不连贯现象时的表现，并发现这些现象对于带有注意力机制的序列到序列模型的任务成功几乎没有影响，同时分析发现模型在处理这些现象时的表示中没有意识到其结构，但是加入这些现象的数据可以帮助模型更清晰的建立表示。
encoder-decoder modelstask-oriented dialoguesdisfluenciesseq-to-seq models with attentiondiagnostic classifiers
发现论文，激发创造
  • 评估序列到序列模型的增量性

    该研究提出三个新的指标以评估具有和不具有注意力机制的 RNN 的行为，发现不同模型类型处理句子的方式存在关键差异，这揭示了人类和注意力中心方法在语言处理方面的行为上存在的显著对比。

    Jun, 2019

  • 对话系统中面向领域通用口语断续检测的多任务学习

    本文提出一种多任务基于 LSTM 的模型，用于增量检测口吃结构，可以连接到任何组件以进行增量解释，或者在产生当前话语时用于 “清理” 当前话语。我们在 Switchboard 对话行为语料库上训练了该系统，并展示了其在该数据集上的准确性。我们的模型在 SWDA 上比以前的神经网络基于增量的方法表现优异，同时采用较简单的架构。为了测试模型的泛化潜力，我们在没有任何附加训练的情况下，在 bAbI + 数据集上评估了相同的模型。这表明我们的方法具有很好的泛化潜力，并更加详细地阐明了哪些类型的口吃可能适合于领域通用处理。

    Oct, 2018

  • 序列转序列模型中更好的解码和语言模型集成

    该研究分析了一个基于注意力机制的序列到序列语音识别系统，提出了解决其预测过于自信和产生不完整转录的问题的实用解决方案，并在没有语言模型的情况下，其词错误率为 10.6％，与 trigram 语言模型一起达到了 6.7％的词错误率。

    Dec, 2016

  • 流式联合语音识别和语调异常检测

    本研究通过基于 Transformer 框架的编码器 - 解码器模型提出了一种联合解决语音识别和流式识别中断相关的自然语言分析难题的方法，将其与传统的流水线工艺相比较，表现出更优异的准确性和实时性。

    Nov, 2022

  • 利用序列到序列模型生成高质量和信息丰富的对话回复

    该文研究应用序列到序列模型解决对话响应生成问题的方法，使用基于注意力机制的解码器保证响应内容连贯性，并提出了一种名为‘glimpse-model’的实用方法以适应大型数据集，并使用随机 beam 搜索算法注入多样性来增加生成可接受响应的比例和整体响应长度。

    Jan, 2017

  • 实现任务导向对话的流畅性和连贯性

    本论文研究了如何在实际的客服对话场景中，生成自然流畅的语言回应和正确的外部操作指令，使用了序列到序列模型并采用了近邻基于嵌入空间的方法，在确保对话连贯性、生成准确的外部操作指令的同时，显著提高了回应的流利程度和准确性。

    Apr, 2018

  • 序列到序列模型中对话行为预测的注意力引导

    采用 Seq2Seq 模型进行对话行为分类预测，不需要手动特征处理，其在 SwDA 和 MRDA 数据集上获得了高准确率的成果。

    Feb, 2020

  • 生成式深度神经网络在对话中的应用：简要综述

    该研究探讨了基于深度神经网络的自动生成响应的模型，着重讨论了结构松散的任务，如基于单词级别的对话响应生成，并提出了基于生成的编码器 - 解码器神经网络架构的新模型，以增强对话的长期历史纪录、建模对话中的不确定性和歧义性、生成具有高级组合结构的响应。

    Nov, 2016

  • 面向任务的对话的序列到序列学习与对话状态表示

    该论文提出了一种新的框架，将对话状态建模为固定大小的分布式表示，并使用注意机制查询知识库，以解决任务导向的对话系统中的问题。实验结果显示，这种框架在自动评估和人类评估上都明显优于其他基于序列到序列模型的模型。

    Jun, 2018

  • 面向对话语言理解的序列到序列数据增强

    本研究针对面向任务对话系统中语言理解的数据增强问题，提出了基于序列到序列生成的数据增强框架来提高模型的性能，该框架利用训练数据中某个话语的同义替代品来增强数据，将多样性排名纳入话语表示中，生成多样性增加的话语，实验证明在仅有数百个话语的情况下，在 Airline Travel Information System 数据集和 Stanford Multi-turn，Multidomain Dialogue 数据集上都取得了显著的 6.38 和 10.04 分数提高。

    Jul, 2018