Aug, 2017

冷融合：与语言模型一起训练 Seq2Seq 模型

PDF
TL;DR本文介绍了一种新的序列到序列 (Seq2Seq) 模型，即带有 Cold Fusion 方法的 Seq2Seq 模型，并将其应用于语音识别任务，表明该方法在利用语言信息方面表现良好。Seq2Seq 模型与 Cold Fusion 能够更好地利用语言信息，具有更快的收敛速度和更好的泛化效果，并且在使用少于 10% 的标记训练数据的同时，几乎完全转化到新的领域。
发现论文，激发创造
  • 序列转序列模型中更好的解码和语言模型集成

    该研究分析了一个基于注意力机制的序列到序列语音识别系统，提出了解决其预测过于自信和产生不完整转录的问题的实用解决方案，并在没有语言模型的情况下，其词错误率为 10.6％，与 trigram 语言模型一起达到了 6.7％的词错误率。

    Dec, 2016

  • 序列对序列模型可直接翻译外语

    我们提出一种递归编码器 - 解码器深度神经网络架构，直接将一种语言中的语音转换为另一种语言中的文本，通过多任务训练序列到序列的语音翻译和识别模型通过共享编码器网络来提高性能。

    Mar, 2017

  • 多语言序列到序列语音识别：架构，转移学习和语言建模

    本文提出使用多语言数据建立先前模型，结合迁移学习的方法，通过在 10 个 BABEL 语言中训练 seq2seq 模型来改进音频识别，同时在解码时加入循环神经网络语言模型 (RNNLM) 来进一步提高模型的表现，实验结果表明，将先前的多语言模型应用于 4 种其他 BABEL 语言可以有效提高识别的准确度，并且加入 RNNLM 辅助也可以带来显著的性能提升。

    Oct, 2018

  • 候选融合：将语言模型集成到序列到序列手写词识别结构中

    本文提出了一种新颖的候选融合方式 (Candidate Fusion)，该方法在将外部语言模型集成到序列到序列架构中的同时，提供了来自外部语言模型的建议作为序列到序列识别器的新输入。Candidate Fusion 提供了两个改进，一方面，序列到序列识别器不仅可以将自身和语言模型的信息组合，还可以选择语言模型提供的信息的重要性。另一方面，外部语言模型可以适应训练语料库甚至学习识别器产生的最常见错误。通过全面实验，Candidate Fusion 证明在手写识别任务中优于现有的最先进的语言模型。

    Dec, 2019

  • 从语言模型向序列到序列语音识别中迁移拼写知识：向教师学拼写

    本文提出了一种基于知识蒸馏的训练方法，将外部语言模型集成到序列到序列语音识别系统中，通过递归神经网络语言模型生成软标签来指导序列到序列模型的训练，以此来降低字符错误率。

    Jul, 2019

  • 将外部语言模型融入到序列到序列模型的分析

    本研究研究了基于注意力机制的序列到序列模型中对于浅层融合仿照外部语言模型在多种语言模型、不同的解码单元和不同任务下的一系列行为。在 Google 语音搜索中，我们证明使用基于字单位的神经语言模型和浅层融合可以相对于具有竞争力的注意力机制序列到序列模型将单词错误率降低了 9.1%，避免了需要进行第二遍 rescoring 操作。

    Dec, 2017

  • 用于连续句子分类的预训练语言模型

    本文提出一种基于预训练语言模型 (BERT) 的方法，能够直接利用所有句子中的所有单词的上下文信息进行文档级理解的任务，且在四个数据集中取得了最先进的结果。

    Sep, 2019

  • 序列到序列学习作为 Beam-Search 优化

    该研究介绍了一种基于全局序列评分学习的 Sequence-to-Sequence (seq2seq) 模型和波束搜索训练方案，通过避免局部训练的传统偏差问题，统一训练损失和测试时间使用，并保留 seq2seq 的有效训练方法。在单词排序、解析和机器翻译三个不同的序列到序列任务中，该系统优于基于注意力的 seq2seq 系统高度优化的系统和其他基准线。

    Jun, 2016

  • 使用单一端到端模型的多语言语音识别

    本文介绍了一种基于序列到序列的正常语音识别模型，它适用于 9 种不同的印度语言，并通过训练语言特定的字形集合，将这些语言联合起来训练模型以提高其性能。

    Nov, 2017

  • 无监督预训练用于序列到序列学习

    本文提出了一种通用的无监督学习方法，用于改善序列到序列模型（seq2seq）的准确性；其主要是通过使用两个语言模型的预训练权重对 seq2seq 模型的 encoder 和 decoder 进行初始化，并使用标记数据进行微调，最后将其应用于机器翻译和抽象概述中。研究结果表明，预训练可以提高 seq2seq 模型的泛化性能，进而取得了 WMT 英德翻译任务的最新的最佳 BLEU 分数，其人工评估结果也得到有力佐证。

    Nov, 2016