Feb, 2024

用于高效声音事件检测的双重知识蒸馏

PDF
TL;DR我们提出了一种名为双重知识蒸馏的方法来开发高效的声音事件检测（SED）系统，其中包括了时间平均知识蒸馏（TAKD）和嵌入增强特征蒸馏（EEFD），该方法在仅有基准模型参数的三分之一的情况下，在 DCASE 2023 Task 4A 公共评估数据集上展示出卓越的性能，突出了双重知识蒸馏对于紧凑型 SED 系统的重要性，这对于边缘设备非常理想。
seddual knowledge distillationon-device applicationstemporal-averaging knowledge distillationembedding-enhanced feature distillation
发现论文，激发创造
  • DiffSED：使用降噪扩散的声音事件检测

    通过采用生成学习的角度来重新构建声音事件检测问题，我们的模型在训练中学习逆转噪声处理，从而能够从噪声查询中生成准确的事件边界，实验证明在 Urban-SED 和 EPIC-Sounds 数据集上，我们的模型在训练中具有 40% 以上的更快收敛速度并明显优于现有的替代方法。

    Aug, 2023

  • 微型语音增强的两步知识蒸馏

    借助知识蒸馏技术，我们提出了一种新的两步法来压缩 Tiny 语音增强模型，其中包括先用知识蒸馏目标进行预训练，然后切换到完全监督训练模式，同时提出了一种新的细粒度相似性保持 KD 损失函数，该方法在高压缩和低信噪比条件下表现出突出的改进，相对于基线，在输入信噪比为 - 5dB 和 63 倍压缩的情况下，信噪失真比分别提高了 0.9dB 和 1.1dB。

    Sep, 2023

  • 使用两阶段策略的多音色声音事件检测和定位

    本文提出基于神经网络的声音事件检测和定位方法，该方法训练得到的声音事件检测模型可以帮助到方位角的估计，同时也能够显著提高声音事件检测和方位角估计的性能。

    May, 2019

  • 提升知识蒸馏与教师解释

    我们提出了一种名为知识解释蒸馏（KED）的框架，通过引入超特征解释教师，允许学生不仅从教师的预测中学习，还从教师的解释中学习，以及使用卷积神经网络降低复杂性、隐藏表示蒸馏方法扩充和使用嵌套数据集来处理有限的训练数据，实验证明，KED 学生可以显著优于类似复杂度的 KD 学生。

    Oct, 2023

  • 少样本声音事件检测的多任务帧级学习

    通过使用创新的多任务帧级音频事件检测框架和线性定时遮罩进行数据增强，提高模型对多样音频环境的适应性和鲁棒性，本研究在 2023 声音场景和事件检测与分类挑战赛的 few-shot 生物声学事件检测类别中实现了 63.8% 的 F 分数，获得第一名。

    Mar, 2024

  • 基于跨模型半监督学习的道路检测的知识蒸馏

    知识蒸馏和半监督学习方法相结合的半监督学习知识蒸馏（SSLKD）方法在道路分割应用中表现出显著的学生模型性能提升，超过传统半监督学习方法的效果。

    Feb, 2024

  • 弱标注数据中的声音事件检测和时间频率分割

    本文描述了如何使用弱标记的数据，提出了一种基于时频分割框架的声音事件检测和分离方法。文中提出的方法包括使用卷积神经网络处理分割映射和使用全局加权排名池化处理分类映射，从而可以在 F1 方面优于现有方法。

    Apr, 2018

  • 教学中的不确定性：释放目标检测知识蒸馏的潜力

    提出一种基于特征的知识不确定性蒸馏范式，能够与现有的蒸馏方法无缝集成，通过蒙特卡洛 dropout 技术引入知识不确定性，提高学生模型对潜在知识的探索能力，并在目标检测任务中获得有效性验证。

    Jun, 2024

  • TKD: 活动感知的时间知识蒸馏

    我们提出了一种名为 TKD 的新框架，利用深度神经网络基于的模型所选择的视频帧（瞬间的感知）来蒸馏轻量级模型中的时间知识，通过进行两个新的步骤：1）基于 LSTM 的关键帧选择方法；2）新的教师束缚损失设计。使用不同的目标检测方法，在多个数据集上进行了全面的经验评估，包括 Youtube-Objects 和 Hollywood 场景数据集。我们的结果显示，与其他现代对象识别方法相比，我们在动态场景的帧上的目标检测准确度 - 速度平衡方面有着一致的提高。

    Mar, 2019

  • QEKD: 基于黑盒模型的无数据查询知识蒸馏

    提出了一种新的查询高效知识蒸馏方法（QEKD），可以从黑盒模型 API 中进行查询有效学习，不需要实际数据，并在不同实际数据集上展现出良好性能。

    May, 2022