Apr, 2021

SpeechStew: 使用简单的混合方法，训练一个大型神经网络，获得所有可用的语音识别数据

PDF
TL;DR使用多种公共语音识别数据集训练的 SpeechStew 模型，在不使用外部语言模型的情况下，在各种任务中实现了 SOTA 或近 SOTA 的结果，并证明了其具有强大的迁移学习能力。
speech recognitionpublic datasetstransfer learningcallhomechime-6
发现论文，激发创造
  • MixSpeech: 低资源语音识别数据增强

    本文提出了 MixSpeech，一种基于混合学习的自动语音识别数据增强方法，通过该方法可以有效地提高模型性能，实验结果表明该方法优于基准模型和其他流行的数据增强方法。

    Feb, 2021

  • 大规模弱监督进行稳健语音识别

    研究了训练简单的语音处理系统预测互联网音频大量转录的能力，在 680,000 小时的多语言和多任务监督的基础上，生成的模型具有很好的泛化能力，并且通常与之前的完全监督结果竞争，但在零次传输设置下不需要进行任何微调，与人类相比，模型的准确性和稳健性接近，并且同时发布了模型和推理代码，作为进一步稳健语音处理工作的基础。

    Dec, 2022

  • 基于单头注意力的序列到序列模型，在 Switchboard 上实现最先进的结果

    本文表明，使用单个头注意力，基于 LSTM 的直接 seq2seq 语音识别模型可以在只有少量数据时（即使只有 300 小时数据），在 Switchboard-300 数据库上实现最先进的识别性能，并且数据增强和谨慎的正则化对于获得这种水平的性能非常重要，然而，更多的数据仍然是更有用的，并且通过使用各种正则化技术和一个相对简单但足够大的模型的组合可以在 Switchboard 和 CallHome 数据集上取得 4.7％和 7.8％的 WER 结果。

    Jan, 2020

  • LibriMix：一个通用语音分离开源数据集

    本文介绍了一种解决训练数据与测试数据相似度低导致模型泛化性能下降的方法：设计了一个基于 LibriSpeech 的语音混合数据集 LibriMix，证明使用 LibriMix 训练的深度学习模型，在各种条件下比使用 WHAM! 训练的模型表现更优，为实现更真实的对话场景语音分离进行了探索。

    May, 2020

  • 从口语词汇生成合成语音用于语音翻译

    该论文提出了一种名为 SpokenVocab 的数据增强技术，可将机器翻译数据转换为语音翻译数据，从而消除了数据稀缺的问题，并取得了比基线更好的效果，同时适用于代码切换语音翻译领域。

    Oct, 2022

  • Speech Wikimedia：一个包含 77 种语言的多语言语音数据集

    维基媒体数据集是一个公开可用的音频和转录汇编，包含来自维基共享资源的 1780 小时（195GB）CC-BY-SA 许可的转录语音，在 77 种不同语言中包含了多种场景和讲话者。每个音频文件都有一个或多个不同语言的转录，使得此数据集适用于训练语音识别、语音翻译和机器翻译模型。

    Aug, 2023

  • 使用合成语音增强训练神经语音识别系统

    利用 LibriSpeech 数据集，将合成语音与自然语音数据集相结合，使用神经网络训练的端到端自动语音识别模型达到了最新的状态，极大地推动了自动语音识别技术的进步。

    Nov, 2018

  • 关于异质数据源对语音转文字基础模型的影响

    通过分析数据集，我们引入了 OWSM v3.2，采用两种关键策略（代理任务筛选数据和使用大型开放语言模型进行标点符号和大小写处理），从而提高了 Open Whisper-style Speech Model v3.1 基线的性能，并减少了 15% 的训练数据。

    Jun, 2024

  • CAPIO 2017 会话式语音识别系统

    论文展示了达到了 NIST 2000 Hub5 英语评估集的最先进表现，提出了一种基于密集连接 LSTMs 并激发于图像分类任务的密集连接卷积网络的方法，以及一个声学模型适应方案，并在 CallHome 训练语料库上应用了该方法，并在评估集的 CallHome 部分中平均提高了 6.1％（相对误差率），并且在 Switchboard 部分没有性能损失。

    Dec, 2017

  • 大规模自监督学习的语音分离

    本文探讨了如何扩大自监督学习（SSL）的规模，以更好地应用于语音分离问题。通过使用大量的预训练数据进行 fine-tuning，提出的模型在节省了 38% 计算成本的同时，相比于监督学习方法和基于 WavLM 的模型，在一些测试数据集上的单词错误率均有显著的改善。

    Nov, 2022