Dec, 2018

快照蒸馏：一代中的教师 - 学生优化

PDF
TL;DR本研究提出了快照蒸馏 (SD) 框架，它将深度神经网络的教师 - 学生优化方法应用于一个生成周期内，通过循环学习率策略以及利用同一周期内早期时期的信息提取，避免了时间复杂度的增大，同时在 CIFAR100 和 ILSVRC2012 等基准测试中获得了准确性的一致提升。
deep neural networkteacher-student optimizationsnapshot distillationcyclic learning rate policyimage classification
发现论文，激发创造
  • 长短期样本蒸馏

    本文提出了一种新的训练策略 Long Short-Term Sample Distillation，通过同时利用过去训练过程中的多个阶段来引导神经网络的后续训练更新，同时只需要进行一次生成操作。该方法中，每个样本的监督信号被分解为两部分，即长期信号和短期信号，以提供稳定的指导并保证师生差异。经过一系列的实验验证，证明了这种新的训练方法的有效性。

    Mar, 2020

  • 代际知识蒸馏：更具宽容性的教师教育更好的学生

    本文从严格性控制角度研究了深度神经网络的教师网络和学生网络的优化问题。通过针对教师网络训练中的宽松性进行优化，使得学生网络在学习过程中更容易获得跨类别相似性信息，从而在 CIFAR100 和 ILSVRC2012 等数据集的图像分类任务中取得更高的分类准确率。

    May, 2018

  • 深度网络中的零样本知识蒸馏

    本文提出了零数据知识迁移的方法，通过自动生成 Data Impressions 从而实现了基于 Teacher 模型的知识迁移，不需要获取原始数据，具有实用性和良好的泛化能力。

    May, 2019

  • 基于时空一致性的自蒸馏学习用于脉冲神经网络

    脉冲神经网络 (SNNs) 通过事件驱动、低功耗特性和高生物解释性而引起了广泛关注。本文通过知识蒸馏 (KD) 提高了预训练教师模型的 SNN 模型性能，同时探索了一种经济高效的自我蒸馏学习方法，即时间 - 空间自我蒸馏 (TSSD) 学习方法。实验证明该方法在多个数据集上具有卓越的性能，为高性能 SNN 学习方法提供了新的融合思路。

    Jun, 2024

  • SoTeacher: 面向学生的教师网络训练框架用于知识蒸馏

    提出一种基于学生的教师网络训练框架 SoTeacher，通过引入 Lipschitz 正则化和一致性正则化改善知识蒸馏算法中教师网络的训练方法，实验证明该方法适用于几乎所有的教师 - 学生架构对，并且可以显著、一致地提高学生的性能。

    Jun, 2022

  • 模型检查点的高效知识蒸馏

    本文研究知识蒸馏技术中，使用训练过程中的中间模型或快照集作为教师模型可以提高蒸馏效果，同时提出了一种基于任务相关互信息最大化的中间模型选择算法，并通过实验证明了其有效性和适用性。

    Oct, 2022

  • SFDDM: 单折蒸馏扩散模型

    提出了一种基于单次折叠蒸馏算法的教师 - 学生蒸馏方法，可以在保持高质量合成图像的情况下加速推断并压缩扩散模型，实现语义一致性和有意义的图像插值。

    May, 2024

  • 扩散模型是固有的一步生成器

    扩散模型的实例教学方法和分布教学方法在图像生成模型方面取得了显著的研究成果，提出的分布教学方法在减少训练图像数量的同时取得了最先进的结果，提高了对高效图像生成模型的理解并为各种应用提供了可扩展的框架。

    May, 2024

  • 知识蒸馏与自监督相遇

    本文介绍了一种新的知识蒸馏方法，使用自我监督信号作为辅助任务来提取自预训练教师模型中的丰富知识，并将其成功地传递到学生网络中，从而实现了在各种基准测试下的表现优异。

    Jun, 2020

  • 多教师助理指导的密集知识蒸馏

    本文提出一种基于多个 teacher assistant 的密集引导知识蒸馏方法，通过逐渐减小模型大小有效地弥合 teacher 和 student 之间的巨大差距，实现了对 student 的更高效学习，并在 CIFAR-10、CIFAR-100 和 ImageNet 上的多个 backbone 架构中取得了显著的性能提升。

    Sep, 2020