Jun, 2024

4D ASR: 联合波束搜索综合 CTC、注意力、转导和掩码预测解码器

PDF
TL;DR我们提出了一种联合建模方案，通过多任务学习和三种新的单通道波束搜索算法，我们训练出的 4D 模型在端到端自动语音识别上取得了更好的性能，并超过了使用单个解码器的模型。
end-to-end automatic speech recognitionnetwork architecturesjoint modeling schememultitask learningone-pass beam search algorithms
发现论文，激发创造
  • 4D ASR: CTC、Attention、Transducer 和 Mask-Predict 解码器的联合建模

    本论文提出了四解码器联合建模 (4D) 的 CTC，关注机制，RNN-T 和掩码预测，旨在通过联合建模提高模型稳健性，在应用场景下轻松切换四个解码器，并通过一次解码方法进一步提高性能。

    Dec, 2022

  • 基于联合 CTC-Attention 的端到端语音识别的进展，带有深度 CNN 编码器和 RNN-LM

    本研究提出了一个最先进的端到端自动语音识别模型，通过使用联合 CTC 和基于注意力机制的编码解码器网络来学习听和写字，其中编码器是基于 VGG 网络的深度 CNN，CTC 网络和注意力解码器共同训练，通过在波束搜索过程中，将 CTC 预测、注意力解码器预测和单独训练的 LSTM 语言模型相结合，相较于先前的系统，在自发性日语和中文语音上减少了 5-10% 的误差，并且我们的端到端模型击败了传统的混合式 ASR 系统。

    Jun, 2017

  • 多任务学习下的联合 CTC-Attention 基于端到端语音识别

    本研究介绍了一种新的方法，使用多任务学习框架中的联合 CTC-attention 模型来改善端到端语音识别的鲁棒性并实现快速收敛，从而减轻对齐问题。实验证明，与 CTC 和 attention-based encoder-decoder 基线相比，在 WSJ 和 CHiME-4 任务中表现出 5.4-14.6％的相对 CER 改进。

    Sep, 2016

  • 长篇语音识别的端到端模型比较

    本研究调查和提高端到端模型在长篇转录上的性能。实验比较了不同的端到端模型并证明 RNN-T 模型在这种场景下比注意力模型更加鲁棒，并且使用限制注意力单调性和分段解码算法等两种改进方法，将注意力模型的性能极大提升，达到了和 RNN-T 模型相当的水平。

    Nov, 2019

  • 开放领域自适应循环神经网络转录技术

    这篇论文提出对 RNN-T 模型进行修改，以利用附带的元数据文本，从而改善对于命名实体词汇的识别，并在社交媒体视频数据集上取得了 16% 左右的提升。

    Jun, 2020

  • 一种有效的端到端建模方法用于发音错误检测

    本研究采用 E2E 模型中的混合 CTC-Attention 方法，并针对中文发音检测任务进行了输入扩充，使结果更加适合该任务。实验结果表明，与传统的混合 DNN-HMM 系统相比，该方法能够大大简化处理流程并显著提高性能。

    May, 2020

  • 改进的 Mask-CTC 用于非自回归端到端 ASR

    为了实现自动语音识别的实时应用，并降低计算资源需求，本文结合 Conformer 结构和辅助目标预测方法，提高了基于 Mask-CTC 的端到端自动语音识别系统识别准确性 17.5% 以上，同时使推理速度不下降，结果超越标准 CTC 模型。

    Oct, 2020

  • 非常深的自注意力网络用于端到端语音识别

    本研究采用 Transformer 结构，构建端到端的序列到序列模型，其表现超过了之前的端到端模型和传统混合系统，并且在 Switchboard 基准测试中超出了所有之前的端到端 ASR 方法。

    Apr, 2019

  • 双解码器变压器模型实现联合自动语音识别与多语言语音翻译

    本文介绍了双解码器 Transformer 的新模型架构，该模型同时执行自动语音识别和多语言语音翻译。我们的模型基于原始 Transformer 体系结构，但由两个解码器组成，每个解码器负责一个任务（ASR 或 ST），并通过双关注机制相互交互。我们提出了两种不同的体系结构变体，分别对应于解码器之间的两个不同层次的依赖关系，称为并行双解码器 Transformer 和交叉双解码器 Transformer。我们在 MuST-C 数据集上进行了大量实验，结果显示我们的模型在多语言设置中优于以前报道的最高翻译性能，并且也优于双语一对一结果。此外，我们的并行模型相对于香草多任务体系结构在 ASR 和 ST 之间没有权衡。

    Nov, 2020

  • 基于后验分布适应的混合 CTC / 注意力系统的端到端上下文 ASR

    该研究针对 End-to-end 语音识别模型在识别罕见专有名词上性能较差的问题，提出了一种基于上下文偏置注意力的改进方案。该方案通过在注意力编码器解码器模型中添加上下文偏置注意力模块，使模型有能力识别上下文短语。在 GigaSpeech 数据集上的实验结果表明，该方法相比基线模型，提高了 15％至 28％的偏置短语召回率，并且拥有较强的反偏置能力。

    Feb, 2022