Mar, 2022

WeNet 2.0：更高效的端到端语音识别工具包

PDF
TL;DRWeNet 2.0 introduces a unified two-pass framework with bidirectional attention decoders, n-gram based language model, contextual biasing framework, and unified IO to support large-scale data for effective model training, achieving up to 10% relative recognition performance improvement over the original WeNet on various corpora and making available several important production-oriented features.
发现论文，激发创造
  • WeNet：面向生产的流式和非流式端到端语音识别工具包

    本文提出了一种开源、生产级的语音识别工具 WeNet，采用新的两遍通行法整合流媒体和非流媒体端到端语音识别，实现了非流媒体 ASR 的相对字符误差率降低，并且具有较低的推理延迟和高的运行时效率。

    Feb, 2021

  • 两遍端到端语音识别

    本研究旨在加入 Listen, Attend and Spell 模型作为第二步流程，从而将端到端流式模型的性能提高至与传统语音识别系统相当，同时也满足计算和响应延迟等约束条件。

    Aug, 2019

  • 基于决策模型的双通道端到端语音识别

    本篇文章探讨了使用 deliberation network 既关注声学特征又关注第一步文本假说的方法来提高两步叠加模型在 ASR 中性能的优化，经过 Google Voice Search 的比较实验，正确率提高了 12%（相对于 LAS rescoring），在专有名词测试集上，提高了 23%。与传统大模型相比，最好的模型在 VS 上表现要好 21%。

    Mar, 2020

  • SpeechNet：工业级弱监督端到端语音识别

    本文提出了一种在标注稀缺，计算有限的情境下训练和部署自动语音识别系统的方法，使用第三方 ASR 系统和用户反馈标记函数作为弱监督来源，采用不同输入长度的 CUDA 图形池来加速推理，称为 SpeechNet 系统，在智能电视上实现了 Wav2vec 技术的大规模部署，获得了 8% 的词错误率相对改进和 600% 的加速。

    Nov, 2022

  • CleanUNet 2：基于波形和频谱的混合语音降噪模型

    CleanUNet 2 是一种语音降噪模型，将波形降噪器和声谱图降噪器的优点结合起来，通过一个由波形模型和声谱图模型组成的两阶段框架，进一步提高了性能，相比之前的方法在各种客观和主观评估中表现更好。

    Sep, 2023

  • 语音识别统一流式和非流式两遍端到端模型

    本文提出了一种新颖的两步方法，用于将流式和非流式端到端（E2E）语音识别统一到单个模型中，该模型采用混合 CTC /attention 架构，在编码器的 conformer 层进行修改，并且在推理时，CTC 解码器以流式方式生成 n 个最佳假设，然后通过注意力解码器进行重评分以得到最终结果，并且在 AISHELL-1 测试集上，基于提出的方法的统一模型相对于标准的非流式 transformer，实现了 5.60％的相对字符错误率（CER）降低，在流式 ASR 系统中实现了 640ms 的延迟。

    Dec, 2020

  • 朝向端到端无监督语音识别

    介绍一种改进的 wav2vec-U 2.0 方法，通过更好的结构来消除语音处理的需要，并引入自监督目标来实现更好的准确度，从而在不同语言下提高了非监督性识别结果。

    Apr, 2022

  • Qifusion-Net: 面向端到端的多口音语音识别的层自适应流 / 非流模型

    通过提出一种名为 Qifusion-Net 的层自适应融合模型，我们可以在无需任何关于目标口音的先验知识的情况下，有效地识别多口音语音，并通过动态块策略实现流式解码，提取帧级声学特征，促进了精细的信息融合，实验结果表明，我们的方法在 KeSpeech 和 MagicData-RMAC 的多口音测试数据集上相对于基准模型分别降低了 22.1% 和 17.2% 的字符错误率（CER）

    Jul, 2024

  • 使用统一的语音与文本编码器 - 解码器来改善 ASR

    本研究利用外部文本数据提高自动语音识别的性能，探讨了一种方法，在共享解码器和编码器部分的集合中，联合训练自动语音识别和掩码语言模型。经实验验证，该方法在测试中取得了非常好的效果，耗时不增加。

    Feb, 2022

  • 基于 Wave-U-Net 的语音增强改进

    研究了 Wave-U-Net 结构在语音增强中的应用，发现其在时域直接建模可以考虑大的时间上下文信息的特点下，可以在 Voice Bank corpus（VCTK）数据集上的语音增强任务中提高 PESQ、CSIG、CBAK、COVL 和 SSNR 多个指标，相比于其原始的音乐中唱声分离系统而言，基于少量隐藏层的结构更适合语音增强，该结果为进一步探索语音增强在时域中的应用提供了鼓舞人心的信号，并可以作为语音识别系统的预处理步骤。

    Nov, 2018