Jan, 2024

OWSM v3.1：基于 E-Branchformer 的更好更快的开放式耳语口语模型

PDF
TL;DR利用 E-Branchformer 提高 OWSM v3.1 模型的性能和效率，尤其在推理速度上具有 25% 的提升，并推出具有 1B 规模的最大 E-Branchformer 语音模型。
open foundation modelstransparencyopen sciencee-branchformerinference speed
发现论文，激发创造
  • 利用开源工具和公开数据复现 Whisper-Style 训练

    使用开源工具包与公开可用的数据，本文提出了一种 Open Whisper-style Speech Model (OWSM) 来训练语音模型，以解决以前无法公开访问的全流程模型开发所面临的性能提升、效率、鲁棒性、公正性和偏见等问题，并公开发布所有脚本、预训练模型和训练日志，以促进开放科学。

    Sep, 2023

  • 关于异质数据源对语音转文字基础模型的影响

    通过分析数据集，我们引入了 OWSM v3.2，采用两种关键策略（代理任务筛选数据和使用大型开放语言模型进行标点符号和大小写处理），从而提高了 Open Whisper-style Speech Model v3.1 基线的性能，并减少了 15% 的训练数据。

    Jun, 2024

  • 基于公共语音识别语料训练的仅解码器模型的极限探索

    本文研究了使用公共英语 ASR 语料库训练仅解码器模型（DOTA）相比于基于编码器 - 解码器的开源复制模型（OWSM）和 Whisper 的大型语言模型（Whisper large-v3），在几乎所有英语 ASR 基准测试集上取得更好的性能，并在 15 个测试集中的 7 个上超过了 Whisper。我们在宽松许可下发布了我们的代码库和模型检查点。

    Jan, 2024

  • OWSM-CTC：一种用于语音识别、翻译和语种识别的开放式编码器语音基础模型

    基于连接主义时间分类（CTC）的新型仅编码器语音模型（OWSM-CTC）在多语言自动语音识别（ASR），语音翻译（ST）和语言识别（LID）任务上取得了有竞争力的结果，并在 ST 上提高了 25％的相对改进，在推断中更为稳健且速度更快，同时也对长形式 ASR 结果有 20 倍的加速。

    Feb, 2024

  • Google USM：扩展超过 100 种语言的自动语音识别

    本论文介绍了通用语音模型（USM），它能够在 100 多种语言中自动识别语音，并使用多语言预训练和随机投影量化等技术来实现跨语言自动语音识别和语音到文本转换这些任务的最先进水平。同时，本文证明使用少量的标记数据集进行训练的 USM 模型在很多语言的领域内和领域外的语音识别任务中表现出了与 Whisper 模型相当或更好的性能。

    Mar, 2023

  • 电子分支形变器与传统形变器在语音识别、翻译和理解任务中的对比研究

    本文比较 E-Branchformer 和 Conformer 两种编码器在语音处理方面的性能，并表明 E-Branchformer 在大多数评估数据集上表现比 Conformer 更好，并且在训练期间更加稳定。

    May, 2023

  • 少即是多：准确无需 Web 规模数据的语音识别和翻译

    最新的语音识别和翻译技术依赖于数十万小时的互联网语音数据。我们认为即使不依赖于互联网规模的数据，也可以达到最先进的准确性。Canary - 多语言 ASR 和语音翻译模型在英语、法语、西班牙语和德语等语言上优于当前最先进的模型 - Whisper、OWSM 和 Seamless-M4T，与这些模型相比，它使用的数据量更少一个数量级。三个关键因素使得这种数据高效模型成为可能：（1）基于 FastConformer 的注意力编码器 - 解码器架构，（2）使用机器翻译生成的合成数据进行训练，以及（3）先进的训练技术：数据平衡、动态数据融合、动态分桶和抗噪音微调。该模型以及权重和训练代码将开源。

    Jun, 2024

  • 语音表示的 MOS 预测评估

    该研究评估了预测语音质量的特征提取模型，并提出了一种模型架构，用于比较有监督学习和自监督学习模型的嵌入和说话人验证模型的嵌入以预测指标 MOS；实验结果在 VCC2018 数据集和一个叫做 BRSpeechMOS 的巴西 - 葡萄牙语数据集中均表明，译为 “耳语模型” 在所有情境下都是适当的。

    Jun, 2023

  • Distil-Whisper: 大规模伪标记下的鲁棒知识蒸馏

    通过伪标注法，将较大的语音识别模型提炼为 Distil-Whisper 变体，使其在低延迟或资源有限的环境中更快速地执行，同时保持与原模型接近的性能。

    Nov, 2023

  • 多任务多语言语音模型的高效压缩

    在这项研究中，我们发现了 Whisper 这个多任务和多语言语音模型在少数语言上的性能问题，并证明这是与讲话者特征及模型相关偏差有关。针对这个问题，我们提出了 DistilWhisper 方法，通过轻量级的模型微调和知识蒸馏策略，在保留了多任务和多语言预训练的鲁棒性的同时，有效地提升了目标语言的 ASR 性能。

    May, 2024