AAAINov, 2019

利用神经架构搜索实现 Oracle 知识蒸馏

PDF
TL;DR提出了一种新的知识蒸馏框架，利用神经架构搜索技术和神经网络来学习深度神经网络教师模型以获得高效的学生模型。该方法通过减少教师和学生之间的模型容量差距，从而最大化从教师模型进行蒸馏的收益，我们在基于 CIFAR-100 和 TinyImageNet 的图像分类数据集上进行了广泛的实验，并通过神经架构搜索技术发现新的学生模型，其在准确性和内存使用上都比教师模型表现更好。
发现论文，激发创造
  • 用于语言模型中有效师生知识迁移的神经结构搜索

    提出了使用神经架构搜索（NAS）来寻找最佳学生模型进行知识蒸馏的 KD-NAS 模型，该模型检索出与自然语言任务关联的顶级候选架构，然后在完整的下游任务培训集上提取架构，获得与手工制作的学生模型相当的性能，在 GPU 延迟方面却以 15％的速度提升（CPU 方面则以 20％的速度提升）。

    Mar, 2023

  • 针对知识蒸馏的学生友好型教师网络学习

    本文提出一种新颖的知识蒸馏方法，该方法旨在学习对学生友好的教师模型以实现知识传递，并在多个知识蒸馏技术中展示出卓越的准确性和收敛速度。

    Feb, 2021

  • 从搜索到精炼：珍珠遍布各处，却不见双眸

    该论文提出一种基于神经网络结构搜索的知识蒸馏模型 AKD，可以将老师模型的知识蒸馏到学生模型的参数和结构中。实验表明 AKD 方法比传统的 NAS 和 KD 方法更有效，在 ImageNet 分类任务和其他任务中都能取得最先进的结果。

    Nov, 2019

  • 知识蒸馏的师生架构：综述

    通过教师 - 学生架构，本综述对多种知识蒸馏目标进行了广泛的探索和总结，包括知识压缩、知识扩展、知识适应和知识增强等方面，为行业从业人员和学术界提供有关教师 - 学生架构的宝贵见解和指导。

    Aug, 2023

  • 重新审视面向架构的知识蒸馏：更小的模型和更快的搜索

    介绍一种名为 TRADE 的新算法，利用 Trust Region Aware architecture search 快速寻找有效的学生网络结构，并使用 Bayesian optimization 方法优化。实验结果表明，TRADE 算法在知识蒸馏下产生的学生网络结构在性能上显着优于常规 NAS 方法和预定义体系结构。

    Jun, 2022

  • 教辅辅助下的知识蒸馏改进

    本论文针对深度神经网络过于庞大以至于不能部署在移动设备等边缘设备的问题，提出了一种基于知识蒸馏的网络压缩方法。然而，该论文表明，如果学生网络与教师网络之间的差距太大，那么知识蒸馏的性能会下降；为此，该论文提出了一种多步知识蒸馏的方法，通过使用一个中等大小的网络（即教师助手）来弥补学生与教师之间的差距，并通过对 CIFAR-10,100 和 ImageNet 数据集进行广泛的实验证明了该方法的有效性。

    Feb, 2019

  • 寻找更好的学生学习精炼知识

    本文提出使用 L1 范数优化从教师网络选取子图作为学生来自动搜索最优学生架构进行知识蒸馏，并在 CIFAR 数据集上验证，实验表明相比手动指定学生结构，学习得到的学生模型性能更好，并且对该学生模型进行可视化和理解。

    Jan, 2020

  • 多教师助理指导的密集知识蒸馏

    本文提出一种基于多个 teacher assistant 的密集引导知识蒸馏方法，通过逐渐减小模型大小有效地弥合 teacher 和 student 之间的巨大差距，实现了对 student 的更高效学习，并在 CIFAR-10、CIFAR-100 和 ImageNet 上的多个 backbone 架构中取得了显著的性能提升。

    Sep, 2020

  • 变分信息蒸馏用于知识迁移

    本论文提出了一种信息理论框架用于知识转移，将知识转移视为最大化教师和学生网络之间的互信息，将该方法应用于不同架构的网络间的知识转移，证明了其性能远超现有方法。

    Apr, 2019

  • 知识蒸馏与自监督相遇

    本文介绍了一种新的知识蒸馏方法，使用自我监督信号作为辅助任务来提取自预训练教师模型中的丰富知识，并将其成功地传递到学生网络中，从而实现了在各种基准测试下的表现优异。

    Jun, 2020