Mar, 2023

针对通用声音分类的无数据知识蒸馏的特征丰富的音频模型反演

PDF
TL;DR本文提出了一种名为 FRAMI 的无数据知识蒸馏框架来进行通用音频分类任务，该方法利用 Mel-spectrograms 生成高质量且具有特征丰富性的音频样本，其在音频分类上的实验表明，通过重用隐藏状态可以显着提升学生模型的准确性。
发现论文，激发创造
  • CMKD: 基于 CNN/Transformer 交替模型知识蒸馏的音频分类

    本文研究了卷积神经网络和自注意力机制模型之间的交互作用，通过知识蒸馏将它们作为师生模型相互训练，在 FSD50K、AudioSet 和 ESC-50 等数据集上取得了新的最好成绩。

    Mar, 2022

  • 强化轻量级裂纹分割模型性能的鲁棒特征知识蒸馏

    该论文开发了一种名为鲁棒特征知识蒸馏（RFKD）的框架，通过从教师模型的逻辑层和中间特征图中提取知识，并利用混合的清晰和噪声图像将稳定的模式传递给学生模型，提高其精度、泛化性能和抗噪声性能，从而改善轻型裂缝分割模型的鲁棒性。验证结果表明，在噪声图像上，RFKD 相比于最先进的知识蒸馏方法在平均 Dice 分数上提高了 62%。

    Apr, 2024

  • 无数据蒸馏：通过文本到文本迁移的语言模型

    提出了一种新的 DFKD 框架，即 DFKD-T^3，该框架将预训练的生成语言模型作为可控数据生成器用于模型压缩，实现了端到端可学习的文本转换框架，通过改善特异性和多样性提高了蒸馏性能，并在情感分析、语言可接受性和信息提取等各种下游任务中展示出卓越的性能，此外，生成的文本可直接用于蒸馏其他语言模型，超过了 SOTA 方法，在一般的 DFKD 场景中更具吸引力。

    Nov, 2023

  • 无数据知识蒸馏用于细粒度视觉分类

    我们提出了一种名为 DFKD-FGVC 的方法，它扩展了 DFKD 到细粒度视觉分类任务，使用了对抗蒸馏框架、注意力生成器、混合高阶注意力蒸馏和语义特征对比学习，以实现更好的性能表现。

    Apr, 2024

  • 使用声学图像的音视频模型蒸馏

    本研究旨在研究如何从视觉数据和新型的音频数据模式 —— 声学图像中学习丰富和强大的音频分类特征表示，通过利用新的多模态标记行动识别数据集，并针对性地训练音频深度学习模型，从视觉和声学图像方面实现知识蒸馏，以获得比单麦克风声音数据训练模型更强大和更具有一般化能力的特征表示。

    Apr, 2019

  • 基于生成模型的特征知识蒸馏用于行为识别

    本研究提出了一种创新的知识蒸馏框架，利用生成模型训练轻量级学生模型，通过特征表示和基于生成模型的特征蒸馏阶段，转移基于注意力的特征语义，在视频动作识别任务中显示出显著的性能改进。

    Dec, 2023

  • 从离散的标记到高保真音频的多频带扩散

    利用高保真多带扩散模型，基于低比特率离散表示生成任何类型的音频，其感知质量比最先进的生成技术更好。

    Aug, 2023

  • FreeKD: 语义频率提示下的知识蒸馏

    使用频率领域的知识蒸馏方法进行密集预测任务时，Frequency Knowledge Distillation（FreeKD）在吸收语义频率上下文、定位像素兴趣点和提供高阶空间增强等方面取得了比基于空间的蒸馏方法更好的效果。

    Nov, 2023

  • 数据无关的去卷积知识蒸馏处理分布转移

    数据无关知识蒸馏是训练高性能小模型以增强实际部署的有希望的任务，本文提出了一种新颖的因果推断视角来解决在 DFKD 任务中的严重分布偏移问题，并设计了一种基于反向调整的知识蒸馏因果干预框架（KDCI），实验证明了其有效性。

    Mar, 2024

  • 采样与蒸馏：开放世界数据的知识迁移

    提出了一种名为数据无关知识蒸馏（DFKD）的新任务，旨在使用仅带有原始训练数据的教师网络训练高性能学生模型。通过自适应采样模块对接近原始数据分布的开放世界数据进行采样，引入低噪声表示以减轻领域漂移并建立多个数据示例的结构化关系来开发数据知识。在 CIFAR-10、CIFAR-100、NYUv2 和 ImageNet 等广泛实验中，我们的 ODSD 方法实现了最先进的性能，在 ImageNet 数据集上与现有结果相比，准确率提高了 1.50％-9.59％。

    Jul, 2023