Apr, 2024

多尺度先验混合的图像超分辨率知识蒸馏

PDF
TL;DRMiPKD 是一种多粒度的先验知识蒸馏方法，通过在统一的潜在空间和随机网络块混合中实现特征混合，来促进高效的超分辨率模型，实验证明 MiPKD 方法的有效性。
knowledge distillationmodel compressionimage super-resolutionfeature mapsmipkd
发现论文，激发创造
  • MTKD：图像超分辨率的多教师知识蒸馏

    我们提出了一种新颖的多教师知识蒸馏（MTKD）框架，专门用于图像超分辨率，通过结合和增强多个教师模型的输出来指导紧凑的学生网络的学习过程，并通过在空间和频率域中观察差异来优化训练过程，从而在超分辨率性能上实现了明显的改善。

    Apr, 2024

  • 残差知识蒸馏

    本研究提出了一种名为 Residual Knowledge Distillation (RKD) 的知识蒸馏方法，通过引入辅助器来进一步提炼知识，从而解决现有方法由于学习容量间的巨大差距而导致的性能下降问题，并在 CIFAR-100 和 ImageNet 等流行分类数据集上取得优异的成果，超过了现有方法的最新水平。

    Feb, 2020

  • 数据循环利用知识蒸馏用于图像超分辨率

    通过数据再利用的知识蒸馏技术（DUKD）实现对单幅图像超分辨率的模型压缩，通过引入标签一致性规范化，大幅提升学生模型的泛化性能，相比基线方法在 PSNR 上提升了 0.5dB，并且在参数减少 67% 的 RCAN 模型中保持与 RCAN 教师模型相当的性能。

    Sep, 2023

  • 优秀教师，优秀学生：基于动态先验知识的知识蒸馏

    研究表明，利用动态先验知识的知识蒸馏方法可以更好地从大型模型向小型模型传递知识表示，提高学生模型的性能，在图像分类和目标检测等领域表现卓越。

    Jun, 2022

  • 走向语义图像分割中的可比较知识蒸馏

    知识蒸馏可解决语义分割中的大型模型和慢速推理问题。研究中鉴定了 14 篇发表于近 4 年的 25 种蒸馏损失项。通过对 2022 年两篇论文的比较，揭示了超参数选择不当导致学生模型性能极端差异的问题。为了提高该领域的未来研究可比性，建立了三个数据集和两种学生模型的坚实基线，并提供了大量有关超参数调整的信息。在 ADE20K 数据集上，发现只有两种技术能与我们简单的基线相竞争。

    Sep, 2023

  • 基于排名模仿和预测引导特征仿效的目标检测知识蒸馏

    本研究针对目标检测中知识蒸馏问题，通过分析教师和学生模型行为差异提出了基于 Rank Mimicking 和 Prediction-guided Feature Imitation 的知识蒸馏方法，有效地提高了学生模型的精确度和加速度。

    Dec, 2021

  • 准备教材：利用更好的监督改进知识蒸馏

    本研究提出了两种新颖的方法，知识调整（KA）和动态温度蒸馏（DTD），用于惩罚错误监督并改善学生模型，实验表明该方法在各种评测数据集上，以及与其他基于知识蒸馏的方法相结合时，都能获得鼓舞人心的表现。

    Nov, 2019

  • MixKD：大规模语言模型高效蒸馏

    提出了一种利用 Mixup 数据扩充技术的数据不可知蒸馏框架 MixKD，大幅度降低了一些实践性问题的影响，提升了大规模语言模型的泛化能力，实现了比标准 KD 培训更好的性能表现，能用于低资源平台上的应用。

    Nov, 2020

  • 跨图像关系知识蒸馏用于语义分割

    本文提出了一种跨图像关系知识蒸馏方法，通过结构化像素之间和区域之间的关系来提高学生模型的分割性能。在 Cityscapes，CamVid 和 Pascal VOC 数据集上的实验结果表明，该方法比现有的蒸馏方法效果更好。

    Apr, 2022

  • 知识表示：用于知识蒸馏的高效、稀疏的先验知识表示

    本文提出了一种以先验知识为主要建模对象的知识表示框架，并设计了一种稀疏重编码惩罚，以约束学生网络的学习，从而在知识蒸馏过程中避免过度正则化和更快地收敛。实验表明，该框架即使目标网络的表示能力不如期望，仍然实现了最先进的性能表现，并且灵活易于与基于后验知识的其他知识蒸馏方法结合使用。

    Nov, 2019