Jul, 2022

宽与深：自监督语音模型任务不可知知识蒸馏的学生网络架构分析

PDF
TL;DR本文通过实证研究发现在深度自监督学习中保持一定的深度可以提高各种面向内容的任务的准确性，同时保持一定的宽度可以提高多个面向说话人的任务的性能。基于这些观察，我们为 SUPERB 识别出了一个具有更好性能的压缩模型。
self-supervised learningknowledge distillationmodel compressiondepthwidth
发现论文，激发创造
  • 技能：相似度感知的语音自我监督学习知识蒸馏

    通过引入 SKILL 方法，本文在自我监督学习研究领域提出了一种新的方法，通过层分组而非个别层进行知识蒸馏，实验结果表明，我们的 WavLM Base + 的蒸馏版本不仅优于 DPHuBERT，还在 30M 参数模型类的多个任务中达到了最先进的结果。

    Feb, 2024

  • 自我监督的语音和说话者模型学到了什么？来自跨模型逐层分析的新发现

    该研究探索了自监督学习模型在捕捉语音和说话者表示方面的能力，并发现具体层次的语音模型更专注于捕捉语言信息，而说话者模型则更注重对说话者表示的提炼。

    Jan, 2024

  • 自我监督语音模型的有效蒸馏在自动语音识别中的应用探究

    本文旨在研究将 HuBERT 基于自监督学习的模型进行有效的蒸馏，用于自动语音识别。我们进行了综合研究，设计了一种简单有效的算法，将参数减少 17％，将推理速度翻倍，同时又能在功能上达到满意的性能降级。

    Oct, 2022

  • FitHuBERT：语音自监督学习知识蒸馏的更轻更深

    本文提出了一种名为 FitHuBERT 的新型语音自监督学习方法，通过在几乎所有模型组件上缩小尺寸并增加详细层级，并通过提示辅助蒸馏方法减少性能退化，将模型压缩至 HuBERT 大小的 23.8％和推理时间的 35.9％，在超级基准测试中实现 12.1％的字错误率和 13.3％的音素误差率。

    Jul, 2022

  • 语音自监督表示基准测试：我们做得对吗？

    本文研究了自我监督学习在语音任务中的应用，特别是其在下游任务中的性能表现和解码器架构的影响。结果发现，使用不同的解码器架构可能会导致表现结果的显著变化，使用局限的解码器也可能会适得其反地增加 SSL 模型的大小。

    Jun, 2023

  • 神经语言模型的一致性蒸馏架构

    本研究探讨了一种 Knowledge Distillation 的新方法，即从神经网络和词汇知识库中提取语言信息，以提供大规模模型的高效替代方案，并提出了两种基于多个 teacher networks 预测权重的技术以及一种用于词义消歧的方法，并发现使用本文中的词汇预训练方法可在不增加参数的情况下提高自然语言理解任务 (NLU) 的性能，同时在 Plagiarism Detection 方面也有了更好的表现。

    Jan, 2023

  • DPHuBERT: 自监督语音模型的联合蒸馏和修剪

    DPHuBERT 是一种基于联合蒸馏和修剪的任务无关压缩方法，适用于资源受限的应用，可应用于各种语音自监督学习模型，并优于纯蒸馏方法。

    May, 2023

  • 自监督预训练模型结构化剪枝的语音识别与理解

    该研究提出三种任务特定的结构化剪枝方法，以减少自我监督语音表示学习和前端网络的计算成本，同时保持模型准确性并提高计算效率。在实验中，该方法在减少 40% 到 50% 的计算成本的情况下，比原始 wav2vec2-base 模型更准确的表现出更高的计算效率。

    Feb, 2023

  • 改善自监督语音处理模型在扭曲场景下的泛化性能

    本文提出采用交叉失真映射和域对抗训练技术对自监督学习的语音预训练模型进行知识蒸馏，以缓解性能差距问题，具有较好的性能表现。

    Oct, 2022

  • Recycle-and-Distill: 基于注意力映射重用和掩码蒸馏的 Transformer 语音 SSL 模型通用压缩策略

    本研究提出基于 Transformer 的语音自监督学习模型压缩方法，包括重用注意力矩阵并采用新型蒸馏策略。我们的通用压缩策略可在 SUPERB 基准测试中实现 7.72％ 的音素错误率和 9.96％ 的单词错误率。

    May, 2023