Jul, 2023

基于设备的约束自监督语音表示学习在关键词检测中的应用：知识蒸馏

PDF
TL;DR提出了一种基于知识蒸馏的自监督语音表示学习（S3RL）体系结构，用于在设备上进行关键词检测任务，通过使用双视角交叉相关蒸馏和教师的码本作为学习目标，在设备资源限制内构建自监督模型，对 Alexa 关键词检测任务表现出非凡的性能。
发现论文，激发创造
  • 知识蒸馏在多任务语音表示学习中的应用

    本论文中，我们使用知识蒸馏通过压缩 wav2vec 2.0 和 HuBERT 语音模型约 75% 的参数量，并分别在单任务和多任务框架上进行微调实验来进行全面的性能分析，实验结果表明，在关键词检测和说话人验证任务中，微调经过知识蒸馏的模型只有 0.1% 的准确率和 0.9% 的等误差率下降。

    Oct, 2022

  • 自监督语音模型的集成知识蒸馏

    本文提出了一种多自监督语音模型集成的方法，通过使用层次平均聚合不同教师模型的表示，并为学生模型提出了多重预测头方法，从而大大提高了四个下游语音处理任务的性能，并在 SUPERB 基准的隐藏集轨道中取得了显著的成果。

    Feb, 2023

  • 一种新颖的自我知识蒸馏方法，利用孪生表示学习进行行为识别

    本文提出了一种新的自知识蒸馏方法，通过孪生表示学习来最小化给定样本的两个不同视图的表示向量之间的差异，并利用软标签蒸馏和表示向量的相似性，因此能够在同一数据点的各种视图中生成更一致的预测和表示，并在各个标准数据集上验证了其显着提高精确度的效果。

    Sep, 2022

  • 技能：相似度感知的语音自我监督学习知识蒸馏

    通过引入 SKILL 方法，本文在自我监督学习研究领域提出了一种新的方法，通过层分组而非个别层进行知识蒸馏，实验结果表明，我们的 WavLM Base + 的蒸馏版本不仅优于 DPHuBERT，还在 30M 参数模型类的多个任务中达到了最先进的结果。

    Feb, 2024

  • 知识蒸馏与自监督相遇

    本文介绍了一种新的知识蒸馏方法，使用自我监督信号作为辅助任务来提取自预训练教师模型中的丰富知识，并将其成功地传递到学生网络中，从而实现了在各种基准测试下的表现优异。

    Jun, 2020

  • 利用关系知识蒸馏提升对比学习

    通过引入异构的 teacher 和 relation-wise 对比学习，我们成功地解决了在轻量级模型中进行 instance-wise 对比时在语义空间中容易崩溃的问题，并通过 AlexNet 线性评估验证了该方法的有效性，达到了接近于有监督学习的 50.5% 的水平。

    Dec, 2021

  • 基于跨模型半监督学习的道路检测的知识蒸馏

    知识蒸馏和半监督学习方法相结合的半监督学习知识蒸馏（SSLKD）方法在道路分割应用中表现出显著的学生模型性能提升，超过传统半监督学习方法的效果。

    Feb, 2024

  • 通过蒸馏、过滤和联合联邦 - 集中训练实现生产联邦式关键词检测

    本文使用联邦学习算法在真实用户设备上训练了一种关键词检测模型，采用联合联邦 - 集中式训练补充训练缓存数据域的缺失，以及基于用户反馈信号的信心过滤策略进行联邦蒸馏学习，在离线和在线实验中均取得了显著的质量和用户体验改进。

    Apr, 2022

  • 探索用于小尺寸关键词检测的表示学习

    本文探讨了如何利用自监督对比学习和预训练模型来进行低资源关键词检测中的表征学习，通过构建局部 - 全局对比同构网络和利用预训练 Wav2Vec 2.0 模型，该小型模型可以利用未标记的数据进行预训练，实验结果表明在小的标记数据集的情况下，自我训练的 WVC 模块和自监督的 LGCSiam 模块可以显著提高准确性。

    Mar, 2023

  • 微型语音增强的两步知识蒸馏

    借助知识蒸馏技术，我们提出了一种新的两步法来压缩 Tiny 语音增强模型，其中包括先用知识蒸馏目标进行预训练，然后切换到完全监督训练模式，同时提出了一种新的细粒度相似性保持 KD 损失函数，该方法在高压缩和低信噪比条件下表现出突出的改进，相对于基线，在输入信噪比为 - 5dB 和 63 倍压缩的情况下，信噪失真比分别提高了 0.9dB 和 1.1dB。

    Sep, 2023