EMNLPJul, 2017

应用循环神经网络编码词汇混淆网络以进行对话状态跟踪

PDF
TL;DR本文介绍了一种用循环神经网络对单词混淆网络进行编码的新方法，该方法可以代表自动语音识别系统的丰富假设空间，在口语系统的对话状态跟踪任务中，编码混淆网络优于编码自动语音识别的最佳假设。
word confusion networksautomatic speech recognitionrecurrent neural networksdialog state trackinghypothesis space
发现论文，激发创造
  • 利用 BERT 联合编码词困惑网络和对话环境来进行口语理解

    本文提出了一种基于 BERT 的新型 SLU 模型（WCN-BERT SLU），其可以在 BERT 体系结构中整合 WCN 的结构信息和 ASR 后验概率，实验结果在 DSTC2 基准测试中表明该方法是有效的并且明显优于以前的最先进模型。

    May, 2020

  • 使用卷积神经网络学习通用的句子表示

    本文提出了基于 CNN 编码器和 LSTM 解码器的分布式句子表征学习方法，旨在实现对多种任务的应用。作者通过训练模型在大规模小说数据集上获得高通用性的卷积句子编码器，并通过多项实验表明该模型在各类应用中均优于竞争方法。

    Nov, 2016

  • 流式混淆网络语音识别

    本文提出了一种新型流式自动语音识别架构，可输出混淆网络并保持有限的延迟，以满足交互式应用的需要，其 1-best 结果与可比较的 RNN-T 系统相当，而更丰富的假设集允许进行第二遍重评分，以在 LibriSpeech 任务上实现 10-20％更低的字词误差率，同时在远场语音助手任务中优于强 RNN-T 基线。

    Jun, 2023

  • 使用 RNN 编码器 - 解码器学习短语表示，用于统计机器翻译

    本文提出了一种名为 RNN Encoder-Decoder 的神经网络模型，该模型由两个循环神经网络（RNN）组成，它将符号序列编码成固定长度的向量表示，并将该表示解码成另一个符号序列，并通过联合训练编码器和解码器来优化目标序列的条件概率，然后将该模型生成的条件概率应用于现有的对数线性模型中，从而提高统计机器翻译系统的性能，并且该模型能够学习到一种语义和句法上有意义的语言短语表示。

    Jun, 2014

  • 深度循环神经网络语音识别

    本文研究了将深度网络的多层表示与强大的 RNN 模型相结合的模型 - 深度递归神经网络，通过合适的正则化和端到端的训练方法，该模型在 TIMIT 语音识别基准测试中获得了最佳记录得分 17.7％。

    Mar, 2013

  • 基于循环神经网络的上下文感知自然语言生成

    本文研究了利用连续的语义表征通过递归神经网络生成特定情境下的自然语言的方法，提出了两种新方法，其中包含了注意力机制以解决因长序列引起的长程依赖问题，并在用户评论数据上进行了实验，展示了该方法生成的虚假评论非常自然，并且大部分能够躲过现有的虚假评论检测算法。

    Nov, 2016

  • 基于元 - BiLSTM 模型的上下文敏感词元编码词性标注

    本研究探讨了将具有句子级上下文信息的递归神经网络用于初始化字符和单词级别的表示，并通过元模型进行同步训练来优化其性能，以实现词性标注和形态标记的最佳性能表现。

    May, 2018

  • 混合编码网络：具备监督和强化学习的实用高效端到端对话控制

    Hybrid Code Networks (HCNs) combine recurrent neural networks (RNNs) with domain-specific knowledge, reducing the training data needed for dialog systems while retaining the benefit of inferring a latent representation of dialog state.

    Feb, 2017

  • 一种多层卷积编码 - 解码神经网络用于语法错误纠正

    本研究提出了一种基于多层卷积编码 - 解码神经网络的自动文本纠错方法，利用字符 N-gram 信息来初始化 embeddings，通过 attention 机制捕捉局部文本语境并使用 N-gram 语言模型和编辑特征进行打分和融合，实现了比现有基于统计学习的方法更好的语法和流畅度的纠错效果。

    Jan, 2018

  • 使用 RNN 编码器 - 解码器网络进行口语对话系统的自然语言生成

    本文介绍了一种基于循环神经网络的编码器 - 解码器结构，其中引入了一个基于 LSTM 的解码器来选择、聚合输入元素上产生的语义元素，并生成所需的话语，该提议的生成器可以联合训练句子规划和表面实现以生成自然语言句子，实验结果表明，所提出的生成器不仅在所有自然语言生成领域中一致优于先前的方法，而且还具有从新领域进行泛化和从多领域数据集中学习的能力。

    Jun, 2017