Mar, 2023

用于语言模型中有效师生知识迁移的神经结构搜索

PDF
TL;DR提出了使用神经架构搜索（NAS）来寻找最佳学生模型进行知识蒸馏的 KD-NAS 模型，该模型检索出与自然语言任务关联的顶级候选架构，然后在完整的下游任务培训集上提取架构，获得与手工制作的学生模型相当的性能，在 GPU 延迟方面却以 15％的速度提升（CPU 方面则以 20％的速度提升）。
knowledge distillationneural architecture searchnatural language processingoptimal student modelresource-constraint environments
发现论文，激发创造
  • AutoDistil: 面向任务无关的少样本神经架构搜索，用于蒸馏大型语言模型

    该篇论文提出了一种名为 AutoDistil 的新 KD 方法，利用 NAS 自动蒸馏出可变成本的压缩模型，该方法使用归纳偏差和技巧将搜索空间分成 K 个紧凑的子空间，并使用每个子空间产生的超级模型进行训练，以在不需要重新训练的情况下进行轻量级搜索，实验表明该方法在 GLUE 基准测试中表现优异。

    Jan, 2022

  • 从搜索到精炼：珍珠遍布各处，却不见双眸

    该论文提出一种基于神经网络结构搜索的知识蒸馏模型 AKD，可以将老师模型的知识蒸馏到学生模型的参数和结构中。实验表明 AKD 方法比传统的 NAS 和 KD 方法更有效，在 ImageNet 分类任务和其他任务中都能取得最先进的结果。

    Nov, 2019

  • 利用神经架构搜索实现 Oracle 知识蒸馏

    提出了一种新的知识蒸馏框架，利用神经架构搜索技术和神经网络来学习深度神经网络教师模型以获得高效的学生模型。该方法通过减少教师和学生之间的模型容量差距，从而最大化从教师模型进行蒸馏的收益，我们在基于 CIFAR-100 和 TinyImageNet 的图像分类数据集上进行了广泛的实验，并通过神经架构搜索技术发现新的学生模型，其在准确性和内存使用上都比教师模型表现更好。

    Nov, 2019

  • 重新审视面向架构的知识蒸馏：更小的模型和更快的搜索

    介绍一种名为 TRADE 的新算法，利用 Trust Region Aware architecture search 快速寻找有效的学生网络结构，并使用 Bayesian optimization 方法优化。实验结果表明，TRADE 算法在知识蒸馏下产生的学生网络结构在性能上显着优于常规 NAS 方法和预定义体系结构。

    Jun, 2022

  • 神经语言模型的一致性蒸馏架构

    本研究探讨了一种 Knowledge Distillation 的新方法，即从神经网络和词汇知识库中提取语言信息，以提供大规模模型的高效替代方案，并提出了两种基于多个 teacher networks 预测权重的技术以及一种用于词义消歧的方法，并发现使用本文中的词汇预训练方法可在不增加参数的情况下提高自然语言理解任务 (NLU) 的性能，同时在 Plagiarism Detection 方面也有了更好的表现。

    Jan, 2023

  • 知识蒸馏的师生架构：综述

    通过教师 - 学生架构，本综述对多种知识蒸馏目标进行了广泛的探索和总结，包括知识压缩、知识扩展、知识适应和知识增强等方面，为行业从业人员和学术界提供有关教师 - 学生架构的宝贵见解和指导。

    Aug, 2023

  • 强化多教师选择的知识蒸馏

    本文研究了一种改进模型压缩方法，通过强化学习动态调整知识蒸馏中教师模型的权重，从而提高了学生模型性能，适用于自然语言处理任务。

    Dec, 2020

  • 寻找更好的学生学习精炼知识

    本文提出使用 L1 范数优化从教师网络选取子图作为学生来自动搜索最优学生架构进行知识蒸馏，并在 CIFAR 数据集上验证，实验表明相比手动指定学生结构，学习得到的学生模型性能更好，并且对该学生模型进行可视化和理解。

    Jan, 2020

  • 学生大型语言模型是否能和老师一样表现出色？

    深度学习模型、知识蒸馏、软标签、温度缩放和模型性能在知识蒸馏中的关键决定因素及其潜力。

    Oct, 2023

  • 面向未知数据集的蒸馏感知神经架构搜索元预测模型

    提出了一种预测学生模型在教师模型下蒸馏的表现的元学习模型（DaSS），它能够推广到多个未见过的数据集以实现 DaNAS 任务的更高效性和准确性。

    May, 2023