Oct, 2022

CCC-wav2vec 2.0：利用聚类辅助的交叉对比自监督学习的语音表征学习

PDF
TL;DR提出了一种名为 ccc-wav2vec 2.0 的新的自监督预训练策略，该方法使用聚类和基于数据增强的相交对比损失作为自监督目标，并取得了约 15.6% 和 12.7% 的 WER 相对改进，也可在 Switchboard 数据上获得最高 14.9% 的 WER 相对改进。
self-supervised learningpre-training strategycross-contrastive lossquantizer outputwer improvement
发现论文，激发创造
  • Wav2vec-C: 一种用于语音表征学习的自监督模型

    Wav2vec-C 是一种结合语音编码和自监督学习的新的表示学习技术，训练模型在未标记数据和标记数据上表现都很好。

    Mar, 2021

  • wav2vec 2.0：自监督学习语音表示的框架

    本研究首次证明了从语音音频中学习强大的表征，然后在经过转录的语音上进行微调可以胜过最好的半监督方法，而且概念上更简单， 示范了在有限标注数据情况下实现语音识别的可行性。

    Jun, 2020

  • wav2vec: 语音识别的无监督预训练

    本研究通过对原始音频进行特征学习，探索无监督的语音识别预训练方法，在大量无标注音频数据上进行训练，结果表示所得到的特征对提高声学模型训练有积极意义。在 WSJ 测试中，仅使用少量已识别数据，我们的方法成功将 WER 从传统的 log-mel filterbank 上降低了最多 36％，最终的 WER 为 2.43％，使用的标注数据量较 Deep Speech 2 少两个数量级。

    Apr, 2019

  • Wav2Vec-Aug: 有限数据下的改进自监督训练

    本文探讨了如何利用数据增强技术来解决语言和领域中数据不足的问题，从而在限制条件下将自监督学习应用于语音表示方面，并在 Wav2Vec 2.0 预训练模型的每个组成部分上提出了改进方法，在 Librispeech 的测试任务中比 Wav2Vec 2.0 实现了 13％的相对字错误率改进。

    Jun, 2022

  • data2vec-aqc：在教师 - 学生培训环境中寻找合适的助教

    提出一种名为 data2vec-aqc 的自监督学习算法，利用数据增强，量化表示和聚类等技术来提高语音领域中有限的未标记和标记数据的质量。该算法在 LibriSpeech 的测试数据集上实现了 14.1％至 20.9％的相对词错误率改进，并且在 SwitchBoard 数据上微调时相对于基线 data2vec 获得了高达 17.8％的相对 WER 改进。

    Nov, 2022

  • 探索 wav2vec 2.0 在说话人验证和语言识别上的应用

    本文提出了一种基于 self-supervised 的 Wav2vec 2.0 框架，可用于说话人验证和语言识别，通过多任务学习使用一个模型进行统一建模，并在相关数据集上取得了良好的成果。

    Dec, 2020

  • 自监督预训练在语音识别中的有效性

    本文比较了自监督表示学习算法 - 无量化学习和显式量化学习，发现使用显式量化的自监督学习算法以较高的准确性建立了数据词汇表，并在随后的 BERT 训练中学习了有效的表示方法，从而实现了训练量极小的语音识别系统。

    Nov, 2019

  • 联合掩码 CPC 和 CTC 训练用于自动语音识别

    这篇论文介绍了一种利用自监督学习方法，通过单阶段训练自动语音识别模型，利用标记数据和非标记数据来训练模型，实现了对下游任务性能的直接优化，并在 Librispeech 100-hour 数据集上实现了类似于 wav2vec ~2.0 的词错误率，最后提出解决对比任务是计算 CTC 损失的正则化的假设。

    Oct, 2020

  • 具有上下文目标表示的视觉、语音和语言自监督高效学习

    本文提出 data2vec 2.0 算法，通过利用丰富的上下文目标表示，实现了在几个模态之间进行泛化的快速自监督学习，进而在图像分类、语音识别等领域取得了很好的实验效果。

    Dec, 2022

  • vq-wav2vec：离散语音表示的自我监督学习

    该研究提出了 vq-wav2vec 算法，用于学习音频片段的离散表示，并通过自监督上下文预测任务实现。实验结果表明，BERT 预训练在 TIMIT 音素分类和 WSJ 语音识别方面实现了新的最优结果。

    Oct, 2019