本文研究了在自动语音识别中使用自适应 SpecAugment 的噪声自适应训练方法，通过过滤、平衡和增强数据集，成功地提高了网络性能，使 WER 在 LibriSpeech 测试集上分别为 4.2％/8.6％（无噪声 / 有噪声），并在 LibriLight 上达到了 1.7％/3.4％（无噪声 / 有噪声）

May, 2020

本文探讨了如何利用数据增强技术来解决语言和领域中数据不足的问题，从而在限制条件下将自监督学习应用于语音表示方面，并在 Wav2Vec 2.0 预训练模型的每个组成部分上提出了改进方法，在 Librispeech 的测试任务中比 Wav2Vec 2.0 实现了 13％的相对字错误率改进。

Jun, 2022

本研究首次证明了从语音音频中学习强大的表征，然后在经过转录的语音上进行微调可以胜过最好的半监督方法，而且概念上更简单， 示范了在有限标注数据情况下实现语音识别的可行性。

Jun, 2020

这篇论文研究了自我训练和无监督预训练以提高语音识别系统的有效方法，并揭示了伪标记和使用 wav2vec 2.0 进行预训练在各种标签数据集上是有互补性的。使用 Libri-light 的仅 10 分钟标注数据和 LibriVox 的 53000 小时未标注数据，在 Librispeech 的测试集上实现了 3.0％/ 5.2％的识别率，这与一年前只经过 960 小时标注数据训练的最佳系统相媲美。使用所有标注数据的训练实现了 1.5％/ 3.1％的识别率。

Oct, 2020

提供了一个适用于有限或无监督语音识别训练的口语英语音频集合，其中包含来自 LibriVox 项目的开源有声读物，已使用语音活动检测进行段分割，并标记有 SNR，说话者 ID 和流派描述，同时提供了基线系统和评估指标，分为三个设置进行评估。

Dec, 2019

本研究通过对原始音频进行特征学习，探索无监督的语音识别预训练方法，在大量无标注音频数据上进行训练，结果表示所得到的特征对提高声学模型训练有积极意义。在 WSJ 测试中，仅使用少量已识别数据，我们的方法成功将 WER 从传统的 log-mel filterbank 上降低了最多 36％，最终的 WER 为 2.43％，使用的标注数据量较 Deep Speech 2 少两个数量级。

Apr, 2019

通过利用大量未标记的语音和文本数据（包括 Libri-Light 语音音频语料库和 CommonCrawl 语言建模）的预训练和自我训练，我们的实验结果表明，在不利用监督学习数据的前提下，通过 wav2vec 2.0 预训练、自我训练和配合语言模型的方法，能够使所有四个 CoVoST 2 语言对的 BLEU 平均值提高 2.6。代码和模型将公开发布。

Apr, 2021

利用 LibriSpeech 数据集，将合成语音与自然语音数据集相结合，使用神经网络训练的端到端自动语音识别模型达到了最新的状态，极大地推动了自动语音识别技术的进步。

Nov, 2018

介绍一种改进的 wav2vec-U 2.0 方法，通过更好的结构来消除语音处理的需要，并引入自监督目标来实现更好的准确度，从而在不同语言下提高了非监督性识别结果。

Apr, 2022

通过自监督预训练、课程表安排进行微调以及利用大规模未标记语音数据的半监督学习，我们展示出在金雅琳达语（Kinyarwanda）的语音识别性能方面的显著提升。我们的方法仅关注使用公共领域数据，在公共网站上收集了一个新的高质量语音数据集，然后用于训练一个干净的基线模型，该模型再用于对来自多样且噪声较大的公共数据集中的示例进行排名，从而定义了一个简单的课程表训练计划。最后，我们采用四代连续的半监督学习方法对大规模未标记数据进行标记和学习。根据我们所知，我们的最终模型在新数据集上的字错率（WER）为 3.2％，在 Mozilla Common Voice 基准上的 WER 为 15.9％，这是目前最先进的。我们的实验还表明，对于金雅琳达语的语音识别性能而言，采用音节而不是字符的分词方法结果更好。

Aug, 2023