Jun, 2022

通过仅文本和半监督训练改善审议

PDF
TL;DR通过使用文本数据和半监督训练，结合基于 Transformer 的双向编码器表示和文本到语音解码器以及半监督训练，实现了多项任务中 4% 至 12% 的 WER 降低，并比最先进的语言模型（LM）缩减的 Deliberation 模型相比降低了 11% 的 Google Voice 搜索 WER，达到了与最先进的 LM 重评分器相当的人类评估结果。
发现论文，激发创造
  • 一种基于审慎的联合声音和文本解码器

    提出一种新的两阶段端到端的语音识别模型，通过训练配对数据和未配对文本数据的组合来提高 ASR 性能，称为 Deliberation-JATD，它结合了 Deliberation 的拼写校正能力和 JATD 的未配对文本数据使用，实现了在多个测试集上的显著提高，特别是在稀有词汇方面，相对降低了词误率 12% 至 22.5%。同时该模型不需要增加模型大小或多阶段训练，成为一种高效的适用于设备的候选模型。

    Mar, 2023

  • 多语言 ASR 的协商扩展

    本文研究了基于 Transformer 模型的多语言自动语音识别模型，提出了一种多语言的反推算法用于提高模型的识别能力，实验结果显示，相较于单语言算法，该算法的识别误差平均降低了 4%，在某些语言上甚至有 14% 的提升，且该算法可以进行并行化处理。

    Oct, 2022

  • 半监督训练以提高端到端语音合成的数据效率

    本文提出了一种半监督的训练框架来提高 Tacotron 数据效率，通过利用大量的公开文本和语音语料库的文本和声学知识，该框架使 Tacotron 能够使用不到半小时的配对训练数据生成可理解的语音。

    Aug, 2018

  • 使用统一的语音与文本编码器 - 解码器来改善 ASR

    本研究利用外部文本数据提高自动语音识别的性能，探讨了一种方法，在共享解码器和编码器部分的集合中，联合训练自动语音识别和掩码语言模型。经实验验证，该方法在测试中取得了非常好的效果，耗时不增加。

    Feb, 2022

  • 听觉、视觉与思考：基于预训练的文本 - 视频表示的视觉上下文感知语音识别

    本研究致力于解决利用视觉信号来提高语音识别（ASR）的问题，探讨了一种基于自监督预训练的文本视频嵌入模型的视觉上下文感知 ASR 方法，该方法包括多流注意力结构和熟思（deliberation）模型，利用视觉信息的熟思模型比多流模型在干扰噪声下提高了语音识别正确率和恢复被屏蔽单词的准确率。

    Nov, 2020

  • 基于决策模型的双通道端到端语音识别

    本篇文章探讨了使用 deliberation network 既关注声学特征又关注第一步文本假说的方法来提高两步叠加模型在 ASR 中性能的优化，经过 Google Voice Search 的比较实验，正确率提高了 12%（相对于 LAS rescoring），在专有名词测试集上，提高了 23%。与传统大模型相比，最好的模型在 VS 上表现要好 21%。

    Mar, 2020

  • 面向设备的语音理解协商模型

    本文提出了一种新颖的基于推理的端到端（E2E）口语语音理解（SLU）方法，通过在自动语音识别（ASR）的文本和音频嵌入上进行条件控制，流式传输的 ASR 模型产生第一步的假设并由第二步的自然语言理解（NLU）组件生成语义解析。

    Apr, 2022

  • 语音翻译和识别的统一语音文本预训练

    本文描述了一种使用编码器 - 解码器建模框架来联合预训练语音和文本用于语音翻译和识别的方法，其中包括四个自监督和有监督的子任务以进行跨模态学习，其贡献在于将文本语料库中的语言信息整合到语音预训练中。

    Apr, 2022

  • 从预训练深度语言模型到端到端语音合成的迁移学习

    本论文研究了通过引入 BERT 模型辅助训练 TTS 模型 Tacotron-2，以缓解高质量语音库的不足问题，并在模型训练中观察到模型收敛更快、结果中无杂音等优点。

    Jun, 2019

  • 基于双向注意力的语音文本多模态训练，提高语音识别能力

    采用双向注意力机制的多模态学习方法，能够有效地提升语音表示的语言信息，增强文本的语音表示，从而使共享的 ASR 模型更适用于无配对的文本数据预训练，仅使用配对数据学习时，单词错误率减少了 6.15％，使用更多无配对文本数据时，错误率减少了 9.23％。

    Nov, 2022