Feb, 2019

教辅辅助下的知识蒸馏改进

HTML
PDF
TL;DR本论文针对深度神经网络过于庞大以至于不能部署在移动设备等边缘设备的问题，提出了一种基于知识蒸馏的网络压缩方法。然而，该论文表明，如果学生网络与教师网络之间的差距太大，那么知识蒸馏的性能会下降；为此，该论文提出了一种多步知识蒸馏的方法，通过使用一个中等大小的网络（即教师助手）来弥补学生与教师之间的差距，并通过对 CIFAR-10,100 和 ImageNet 数据集进行广泛的实验证明了该方法的有效性。
发现论文，激发创造
  • 通过自适应知识融合从异质教师中定制学生网络

    本篇文章探讨了如何利用预先训练好的深度网络来训练一个个性化的学生网络，以解决用户选择的任务，文章提出了一种双步骤策略，其中第一步从具有相同子任务的异构教师中提取任务特定知识，然后将提取的知识混合，来构建学生网络，以自我的方式从带有最小预测模糊性的教师那里学习，实验结果表明基于此种自适应知识归纳的学生网络的性能甚至优于教师。

    Aug, 2019

  • 基于稠密交叉层互相蒸馏的知识转移

    在这篇论文中，我们提出了一种改进的双向知识迁移方法Dense Cross-layer Mutual-distillation (DCM)，它采用了协作训练师生网络的方法，引入了辅助分类器和密集的双向知识蒸馏操作，在各种知识迁移任务中都表现出比相关方法更卓越的性能。

    Aug, 2020

  • 多教师助理指导的密集知识蒸馏

    本文提出一种基于多个teacher assistant的密集引导知识蒸馏方法，通过逐渐减小模型大小有效地弥合teacher和student之间的巨大差距，实现了对student的更高效学习，并在CIFAR-10、CIFAR-100和ImageNet上的多个backbone架构中取得了显著的性能提升。

    Sep, 2020

  • 宽神经网络中的知识蒸馏：风险界限、数据效率和有误导的教师

    通过使用教师网络的软输出作为向导进行学生网络的训练，知识蒸馏是模型压缩和知识转移的成功方法之一。本文通过分析一种宽神经网络的知识蒸馏，提出了一种称为数据效率的任务难度度量标准，并证明了在教师完美的情况下，教师软标签的高比例可以很有益处，并且在不完美的教师情况下，硬标签可以修正教师的错误预测，这解释了混合硬标签和软标签的实践。

    Oct, 2020

  • 针对知识蒸馏的学生友好型教师网络学习

    本文提出一种新颖的知识蒸馏方法，该方法旨在学习对学生友好的教师模型以实现知识传递，并在多个知识蒸馏技术中展示出卓越的准确性和收敛速度。

    Feb, 2021

  • 知识蒸馏真的有效么？

    研究表明，尽管知识蒸馏有助于学生网络提高推理能力，但通常情况下并不能完全符合教师模型的预测分布，而这往往是由于优化困难所导致的。此外，数据集的细节也影响着知识蒸馏的效果，更符合教师的结果不一定会带来更好的推理能力。

    Jun, 2021

  • SoTeacher: 面向学生的教师网络训练框架用于知识蒸馏

    提出一种基于学生的教师网络训练框架SoTeacher，通过引入Lipschitz正则化和一致性正则化改善知识蒸馏算法中教师网络的训练方法，实验证明该方法适用于几乎所有的教师-学生架构对，并且可以显著、一致地提高学生的性能。

    Jun, 2022

  • 知识蒸馏的师生架构：综述

    通过教师-学生架构，本综述对多种知识蒸馏目标进行了广泛的探索和总结，包括知识压缩、知识扩展、知识适应和知识增强等方面，为行业从业人员和学术界提供有关教师-学生架构的宝贵见解和指导。

    Aug, 2023

  • 学生大型语言模型是否能和老师一样表现出色？

    深度学习模型、知识蒸馏、软标签、温度缩放和模型性能在知识蒸馏中的关键决定因素及其潜力。

    Oct, 2023

  • 面向学生的教师知识优化用于知识蒸馏

    本研究解决了传统知识蒸馏中学生网络难以理解教师复杂知识的问题，以提高知识转移的有效性。论文提出了一种新颖的学生导向知识蒸馏方法（SoKD），通过动态优化教师知识以更好地符合学生需求，并结合显著区域检测模块（DAM）聚焦于关键知识的转移。实验结果表明，该方法在性能和适应性方面均表现优异。

    Sep, 2024