AAAIJan, 2024

EPSD: 早期剪枝与自蒸馏用于高效模型压缩

PDF
TL;DR提出了一种名为早期修剪与自我蒸馏（EPSD）的框架，它在给定自我蒸馏任务的早期修剪中识别和保留可蒸馏的权重，通过两步骤的过程高效地将早期修剪和自我蒸馏相结合，以保持修剪网络的可训练性进行模型压缩。
neural network compressionknowledge distillationnetwork pruningearly pruningself-distillation
发现论文，激发创造
  • 数据剪枝中的知识提取

    通过集成知识蒸馏技术，本文探讨在数据修剪过程中的应用，证明了使用简单随机修剪方法优于复杂的修剪方法，并研究了修剪程度与知识蒸馏权重的关系，以及教师网络规模对准确性的影响。

    Mar, 2024

  • 剪枝模型优于压缩之后再蒸馏

    本文提出了一种新的 “剪枝再蒸馏” 的框架，该框架在知识蒸馏中先对模型进行了剪枝以使其更易于转移，并且理论证明了剪枝后的教师模型在知识蒸馏中扮演了正则化器的作用，并减少了泛化误差。最后，我们提出了一种新的神经网络压缩方案，其中的学生网络是基于剪枝后的教师网络构建，然后采用 “剪枝再蒸馏” 的策略进行蒸馏。

    Sep, 2021

  • 自监督元学习用于知识图谱补全的自蒸馏

    本文提出了一种自我蒸馏框架，使用元学习 (MetaSD) 和动态修剪来完成知识图谱的处理，旨在学习压缩的图形嵌入，并解决长尾样本问题。在实验中 MetaSD 表现出与强基线的竞争性表现，同时比基线小 10 倍。

    May, 2023

  • 使用内部蒸馏的背包修剪

    本研究提出了一种基于背包问题和内部知识蒸馏的神经网络剪枝方法，该方法能够在优化被剪枝网络的最终准确性的同时，从过度参数化的母网络的内部层中提取知识，并使用块分组方法来处理复杂的网络结构。该方法在 ImageNet、CIFAR-10 和 CIFAR-100 数据集上都取得了 state-of-the-art 的准确率表现，并且能够产生与 EfficientNet-B0、MobileNetV3 相同 FLOPs 但更高准确率的网络结构。

    Feb, 2020

  • LAPTOP-Diff：层剪枝和规范蒸馏用于压缩扩散模型

    在 AIGC 时代，通过引入层修剪和标准化蒸馏（LAPTOP-Diff）压缩扩散模型的 U-Net，我们实现了 50% 的修剪比例下 PickScore 仅下降 4.0%，优于其他方法的 8.2%。

    Apr, 2024

  • 自我知识蒸馏与渐进式目标细化

    该文介绍了一种称为渐进式自我知识蒸馏的有效规则化方法，适用于任何具有硬目标的监督学习任务，可以提高模型的泛化性能和置信度预测，并取得了优于基准的实验结果。

    Jun, 2020

  • 知識蒸餾中的遺失

    深度神经网络通过知识蒸馏的模型压缩技术能够有效地在大型和小型模型之间实现信息转移，本研究通过实验探究了蒸馏过程对于信息损失的影响，并提出了一种优化配置方法。

    Nov, 2023

  • 自我蒸馏：通过蒸馏提高卷积神经网络性能

    提出了一种名为 “自蒸馏” 的卷积神经网络训练框架，通过将网络大小缩小而不是扩大来显著提高卷积神经网络的性能（准确性）。它与传统的知识蒸馏不同，后者是将预训练的教师神经网络的输出作为 softmax 层输出的近似值强制学生神经网络去逼近。该框架将知识内化到网络本身，对深度方面的可伸缩推理提供了灵活性，能够在资源有限的边缘设备上运行。

    May, 2019

  • 基于时空一致性的自蒸馏学习用于脉冲神经网络

    脉冲神经网络 (SNNs) 通过事件驱动、低功耗特性和高生物解释性而引起了广泛关注。本文通过知识蒸馏 (KD) 提高了预训练教师模型的 SNN 模型性能，同时探索了一种经济高效的自我蒸馏学习方法，即时间 - 空间自我蒸馏 (TSSD) 学习方法。实验证明该方法在多个数据集上具有卓越的性能，为高性能 SNN 学习方法提供了新的融合思路。

    Jun, 2024

  • 蒸馏剪枝：一种用于边缘设备上实时立体匹配网络的高效压缩框架

    通过知识蒸馏和模型修剪的策略，我们提出了一种有效的方法来解决速度和准确性之间的权衡问题，并在边缘设备上实现了保持实时性能的同时提供高准确性的模型。

    May, 2024