Feb, 2024

技能：相似度感知的语音自我监督学习知识蒸馏

PDF
TL;DR通过引入 SKILL 方法，本文在自我监督学习研究领域提出了一种新的方法，通过层分组而非个别层进行知识蒸馏，实验结果表明，我们的 WavLM Base + 的蒸馏版本不仅优于 DPHuBERT，还在 30M 参数模型类的多个任务中达到了最先进的结果。
self-supervised learningcompression techniquesdphubertskillhierarchical clustering
发现论文，激发创造
  • DPHuBERT: 自监督语音模型的联合蒸馏和修剪

    DPHuBERT 是一种基于联合蒸馏和修剪的任务无关压缩方法，适用于资源受限的应用，可应用于各种语音自监督学习模型，并优于纯蒸馏方法。

    May, 2023

  • FitHuBERT：语音自监督学习知识蒸馏的更轻更深

    本文提出了一种名为 FitHuBERT 的新型语音自监督学习方法，通过在几乎所有模型组件上缩小尺寸并增加详细层级，并通过提示辅助蒸馏方法减少性能退化，将模型压缩至 HuBERT 大小的 23.8％和推理时间的 35.9％，在超级基准测试中实现 12.1％的字错误率和 13.3％的音素误差率。

    Jul, 2022

  • 宽与深：自监督语音模型任务不可知知识蒸馏的学生网络架构分析

    本文通过实证研究发现在深度自监督学习中保持一定的深度可以提高各种面向内容的任务的准确性，同时保持一定的宽度可以提高多个面向说话人的任务的性能。基于这些观察，我们为 SUPERB 识别出了一个具有更好性能的压缩模型。

    Jul, 2022

  • 自我监督语音模型的有效蒸馏在自动语音识别中的应用探究

    本文旨在研究将 HuBERT 基于自监督学习的模型进行有效的蒸馏，用于自动语音识别。我们进行了综合研究，设计了一种简单有效的算法，将参数减少 17％，将推理速度翻倍，同时又能在功能上达到满意的性能降级。

    Oct, 2022

  • 自监督语音模型的集成知识蒸馏

    本文提出了一种多自监督语音模型集成的方法，通过使用层次平均聚合不同教师模型的表示，并为学生模型提出了多重预测头方法，从而大大提高了四个下游语音处理任务的性能，并在 SUPERB 基准的隐藏集轨道中取得了显著的成果。

    Feb, 2023

  • BERT 模型压缩的患者知识蒸馏

    本研究提出了病人知识蒸馏方法，将原始大模型（老师）压缩成同样有效的轻型浅层网络（学生），以缓解大规模模型训练中的计算资源需求，并在多个 NLP 任务中获得改进的结果和培养效率的显著提高。

    Aug, 2019

  • 基于跨模型半监督学习的道路检测的知识蒸馏

    知识蒸馏和半监督学习方法相结合的半监督学习知识蒸馏（SSLKD）方法在道路分割应用中表现出显著的学生模型性能提升，超过传统半监督学习方法的效果。

    Feb, 2024

  • SD-HuBERT：自蒸馏在 HuBERT 中引发音节组织

    在自监督学习中，通过基于数据的单元发现在语音处理领域迈入了新的阶段。本文展示了在学习语音的句子级表示中出现了音节组织。通过采用 “自蒸馏” 目标函数，在没有任何监督的情况下，对预训练的 HuBERT 进行微调，并添加一个汇总整个句子的聚合器标记。实验结果表明，该模型在语音中画定了明确的边界，并且帧之间的表示显示出显著的音节结构。此外，我们提出了一个用于评估语音句子级表示的新的基准任务，即 “Spoken Speech ABX”。与先前的模型相比，我们的模型在无监督音节发现和学习句子级表示方面表现出色。我们展示了 HuBERT 的自蒸馏能够产生音节组织，而不依赖外部标签或模态，并可能为口语语言建模提供新的、基于数据的单元。

    Oct, 2023

  • 改善自监督语音处理模型在扭曲场景下的泛化性能

    本文提出采用交叉失真映射和域对抗训练技术对自监督学习的语音预训练模型进行知识蒸馏，以缓解性能差距问题，具有较好的性能表现。

    Oct, 2022

  • HRKD: 层次化关系知识蒸馏用于跨领域语言模型压缩

    本研究采用层次化关系知识蒸馏方法压缩预训练语言模型，结合元学习以及领域关系图来捕捉不同领域的关系信息，在多领域数据集上实验证明该方法的性能优越性，以及它强大的少样本学习能力。

    Oct, 2021