知识蒸馏提高深度神经网络的可解释性
通过使用知识蒸馏技术,从大模型 (教师模型) 中提取信息,训练小模型 (学生模型) 可以解决将大型深度学习模型部署在移动设备和嵌入式设备上的问题。本文提出了一种基于蒸馏度量的比较不同知识蒸馏算法性能的新指标,并通过对知识蒸馏技术应用于深度学习模型进行调查,得出了一些有趣的结论。
Jul, 2020
通过提取卷积神经网络的最终层中的特征并使用决策树进行训练,我们提出了一种蒸馏方法来解释深度神经网络的推理,展示了决策树在解释卷积神经网络决策时的表现与最小复杂度的卷积神经网络相当好。
Mar, 2024
本文提出了一种用于回归问题的新的知识蒸馏形式,其中包括教师异常值拒绝损失函数和多任务网络等内容,并通过对多个数据集的评估表明,该方法可以提高准确性。
Feb, 2020
知识蒸馏是一种将深度神经网络的知识转移到更小更快的神经网络中的方法,近期变体包括教学助理蒸馏、课程蒸馏、遮罩蒸馏和解耦蒸馏等,致力于通过引入额外的组件或改变学习过程来提高知识蒸馏的性能。
Apr, 2023
知识蒸馏是一种将复杂模型压缩为更小更简单的技术,本论文综述了知识蒸馏的原理、技术和在计算机视觉领域的应用,并专注于探讨知识蒸馏的好处以及提高其有效性所需克服的问题。
Apr, 2024
本文介绍了一种用于减小大规模计算机视觉模型尺寸、同时不影响性能的知识蒸馏方法,并且明确了影响该方法有效性的设计选择。通过全面的实验研究,我们在多种视觉数据集上获得了令人信服的结果,并实现了在 ImageNet 数据集上的 ResNet-50 模型的最新表现,其 top-1 准确率为 82.8%。
Jun, 2021
本研究提出了一种新的数据蒸馏方法,使用该方法在文本分类中将大型训练数据集压缩为更小的合成数据集,结果显示使用压缩后的数据集,在保持准确度的前提下只占原始数据集的 0.1%,获得了 90% 左右的性能。
Apr, 2021
探讨了深度学习模型集合如何提高测试准确率,以及如何使用知识蒸馏将集合的优越性能提取到单个模型中。并在此基础上,提出了一种新的理论,解释了在数据具有 “多视图” 结构的情况下,各自独立训练的神经网络集合确实可以明显提高测试准确率,而这种优越的效果也可以通过训练单个模型来匹配集合输出来证明,结果揭示了在深度学习中,集合模型以及 “黑暗知识” 是如何作用于知识蒸馏中的。最后,还证明了自身蒸馏也可以看作是隐式地组合集合模型和知识蒸馏以提高测试准确率。
Dec, 2020