卷积神经网络中关键路径精简
通过分析经过训练的卷积神经网络（CNN），我们提出了一种算法来提取各个像素的扩散路径，以确定与目标类别相关联的输入图像中像素的位置，并且这种基于路径的表示在不同类别之间具有明显的区别。
Feb, 2024
通过提出路径蒸馏方法，从优先路径中提取知识来改善子网络的训练，最终得到的最优路径在性能和复杂度方面具有优异表现，证明了该方法的泛化性和稳健性。
Oct, 2020
提出了一种名为 “自蒸馏” 的卷积神经网络训练框架，通过将网络大小缩小而不是扩大来显著提高卷积神经网络的性能（准确性）。它与传统的知识蒸馏不同，后者是将预训练的教师神经网络的输出作为 softmax 层输出的近似值强制学生神经网络去逼近。该框架将知识内化到网络本身，对深度方面的可伸缩推理提供了灵活性，能够在资源有限的边缘设备上运行。
May, 2019
通过提取卷积神经网络的最终层中的特征并使用决策树进行训练，我们提出了一种蒸馏方法来解释深度神经网络的推理，展示了决策树在解释卷积神经网络决策时的表现与最小复杂度的卷积神经网络相当好。
Mar, 2024
本文提出了一种使用高维提示层和估计大网络输出方差的方法来改进知识蒸馏技术，并采用手动设计的特征来提升小型网络的性能，实现了比 AlexNet 更好的性能，同时拥有大网络 $400 imes$ 更少的参数。
Dec, 2016
提出了一种通过结构模型蒸馏实现神经网络内存降低的方法，使用注意力转移，并提供了残差网络的 Pareto 曲线和表格，证明这种蒸馏方法在极少损失准确率的情况下能够显著节省内存并提升学生网络性能。
Nov, 2017
这篇论文介绍了一种用蒸馏过程从大型模型中训练出的卷积学生架构，它可以实现 300 倍的推理加速和 39 倍的参数减少，有时学生模型的性能甚至超过了它的老师模型。
Sep, 2019
研究表明，通过暂时修剪和恢复模型的子集滤波器，反复进行该过程，可以减少所学习特征的重叠，从而提高了模型的泛化能力；而在这种情况下，现有的模型修剪标准并不是选择修剪滤波器的最优策略，因此引入了滤波器之间内部正交性作为排名标准。这种方法适用于各种类型的卷积神经网络，能够提高各种任务的性能，尤其是小型网络的性能。
Nov, 2018
该论文引入了一种新的路径来缓解卷积神经网络中滤波器和图像类之间的纠缠，通过将 CNN 的滤波器分组到类别特定的簇中，实现了更好的可解释性和较高的区分能力。
Dec, 2023