May, 2020

Audio ALBERT：轻量化的 BERT 模型用于音频自监督学习表示

PDF
TL;DR本文提出了一种自监督的语音表示模型 Audio ALBERT，比已有模型使用更少的参数，在说话人识别和音素分类等下游任务中实现了竞争性的性能，并发现隐表示编码了更丰富的说话人和音素信息。
self-supervised speechpretrained modelsaudio albertspeaker identificationphoneme classification
发现论文，激发创造
  • ALBERT: 自监督学习语言表示的轻量级 BERT

    本文提出两种参数缩减技术，结合一个以自我监督方式处理句间连贯的损失函数，成功地使用更少的参数将 BERT 模型的性能扩展至其他基准测试集，包括 GLUE，RACE 和 SQuAD。

    Sep, 2019

  • BYOL-S: 通过启动自助学习的方式学习自监督语音表示

    本研究使用自我监督学习与深度神经网络等方法，探索提取声音和语音特征的最优表征，提出了多种编码器架构，并探讨了不同的预训练数据集。最后，我们提出了一个新的训练框架，用于结合手工特征和数据驱动特征，得到一个混合音频表征。在 HEAR 毕业设计的听觉场景分类和时间戳检测任务中，我们的实验表明，使用混合模型和卷积变压器作为编码器在大多数任务中都具有更优越的性能。

    Jun, 2022

  • 自监督预训练在语音识别中的有效性

    本文比较了自监督表示学习算法 - 无量化学习和显式量化学习，发现使用显式量化的自监督学习算法以较高的准确性建立了数据词汇表，并在随后的 BERT 训练中学习了有效的表示方法，从而实现了训练量极小的语音识别系统。

    Nov, 2019

  • LightHuBERT: 一种轻量级可配置的语音表征学习方法，采用一次性隐藏单元 BERT

    我们提出了 once-for-all Transformer 压缩框架 LightHuBERT，通过剪枝结构化参数自动找到所需的结构，成功地将嵌套数千个共享权重子网的基于 Transformer 的超网进行了设计，并使用两阶段蒸馏策略从 HuBERT 利用上下文化的潜在表征。在自动语音识别（ASR）和 SUPERB 基准测试上实验表明，LightHuBERT 实现了超过 $10^9$ 种结构，深度，宽度，注意力维度，前馈网络比例和网络深度，在 ASR 和五个 SUPERB 任务上表现优于原始的 HuBERT，与该教师模型在大多数任务中表现相当，在三个 SUPERB 任务中具有 $3.5 imes$ 的压缩比，即自动说话人验证、关键词检测和意图分类，在稍微减少准确率的情况下，可以实现 29％ 的参数减少，并提供代码和预训练模型。

    Mar, 2022

  • HuBERT：自监督语音表示学习通过隐藏单元的掩码预测

    本研究提出了一个利用聚类和预测损失的自监督学习方法 HuBERT，来解决语音表示学习中存在的多个输入单元、无法在预训练阶段建立输入单元词典以及不明显的分割问题，该方法对于掩盖区域的预测损失、高质量的聚类步骤具有一定的鲁棒性，在多个基准测试集上的表现不低于当前最先进的 wav2vec 2.0 性能。

    Jun, 2021

  • 基于 Conformer 的自监督学习用于非语音音频任务

    本文提出了一种自监督的音频表征学习方法并将其应用于多种非语音音频任务，这种自监督的预训练可以将标记数据需求减少三分之二，并在 AudioSet 基准测试中通过声音自主训练实现了 0.415 的平均平均精度（mAP）得分，在多个下游任务中，我们的 fine-tuned conformers 也超越或匹配以往以监督方式预训练的系统的性能。

    Oct, 2021

  • DistilHuBERT：基于层间蒸馏的 BERT 隐藏单元语音表示学习

    本文介绍了 DistilHuBERT，它是一种新的多任务学习框架，可从 HuBERT 模型中提取隐藏表示，节省了大量内存和训练时间成本，并且在十个不同的任务中保留了大多数性能，从而使得个人和设备上的 SSL 模型的预训练成为可能。

    Oct, 2021

  • BrainBERT：面向颅内记录的自监督表示学习

    我们创造了一种可重复使用的 Transformer-BrainBERT，将现代表示学习方法引入神经科学，通过无监督的预训练使其能够对更复杂的概念进行分类，从而实现更高的准确性和更少的数据。

    Feb, 2023

  • 自监督语音表示学习：综述

    本论文综述了自监督语音表示学习的方法及其与其他研究领域的联系，讨论了将学习到的表示推广到语音识别以外的应用的最新研究进展。

    May, 2022

  • SLICER: 使用低资源自监督预训练学习通用音频表示

    SLICER 是一种使用自监督学习技术的先前编码器的新方法，可以减少音频和语音分类需要大量标记数据的情况。它使用聚类和对比学习范例的组合来提高语音表示学习的效果，并进行实例和聚类层对比学习任务。此外，它还使用了一种新的 mel 频谱增强程序 k-mix，无需标签，并有助于音频的无监督表示学习。

    Nov, 2022