Feb, 2024

PaCKD: 模式聚类知识蒸馏用于压缩内存访问预测模型

PDF
TL;DR使用模式聚类知识蒸馏方法，我们提出了 PaCKD，这是一种压缩内存访问预测模型的方法，通过为每个分区训练大型模式特定的教师模型，然后从这些训练好的模式特定教师中提取知识训练一个单一轻量级的学生模型，以在保持预测性能的同时实现模型大小的 552 倍压缩。
deep neural networksmemory access predictionpattern-clustered knowledge distillationcompressionmodel size
发现论文，激发创造
  • 深度集体知识蒸馏

    DCKD 是一种深度集体知识蒸馏的模型压缩方法，旨在通过丰富的信息让学生模型从老师模型和其他学生模型中获取知识，本文探讨了如何在训练过程中提高类别之间的相关性，实验结果表明该方法在 ImageNet 和 CIFAR-100 数据集上取得了最先进的性能表现。

    Apr, 2023

  • 知识蒸馏在小模型回归问题训练中的高效方法

    本文提出了一种用于回归问题的新的知识蒸馏形式，其中包括教师异常值拒绝损失函数和多任务网络等内容，并通过对多个数据集的评估表明，该方法可以提高准确性。

    Feb, 2020

  • MixKD：大规模语言模型高效蒸馏

    提出了一种利用 Mixup 数据扩充技术的数据不可知蒸馏框架 MixKD，大幅度降低了一些实践性问题的影响，提升了大规模语言模型的泛化能力，实现了比标准 KD 培训更好的性能表现，能用于低资源平台上的应用。

    Nov, 2020

  • 知識蒸餾中的遺失

    深度神经网络通过知识蒸馏的模型压缩技术能够有效地在大型和小型模型之间实现信息转移，本研究通过实验探究了蒸馏过程对于信息损失的影响，并提出了一种优化配置方法。

    Nov, 2023

  • 记忆数据集：为神经网络提炼可寻址的记忆

    提出一种基于数据集精简的算法，通过共享数据集的压缩表示生成训练样本以迅速重新训练神经网络，进而实现数据集的总体压缩和连续学习。

    Jun, 2022

  • 迈向端到端自动驾驶运动规划器压缩的便携性

    本文提出 PlanKD，这是第一个专门用于压缩端到端运动规划器的知识蒸馏框架，通过信息瓶颈策略和安全感知的逐点蒸馏模块，可以显著提升较小规模规划器的性能并减少参考时间。

    Mar, 2024

  • 知识蒸馏：综述

    该论文从知识分类、训练方案、教师 - 学生架构、蒸馏算法、性能比较和应用等方面全面调查了知识蒸馏。并简要回顾了知识蒸馏中的挑战，并探讨了未来的研究方向。

    Jun, 2020

  • CDFKD-MFS: 基于多级特征分享的协同无数据知识蒸馏

    提出了一种用于资源受限的边缘设备上的深度神经网络压缩的框架，其中包括多输入头的学生模块、不对称对抗数据无关知识蒸馏模块和基于注意力聚合模块，通过多层特征共享的方式实现合作式无数据知识蒸馏，并在三个数据集上的实验结果比现有的最佳方法更好。

    May, 2022

  • 在线集成模型压缩技术 —— 基于知识蒸馏

    本文提出了一种新颖的基于知识蒸馏的模型压缩框架，在学生集成中启用了同时学习的知识蒸馏，并在压缩的学生模型上蒸馏同时学到的集成知识，该方法在不需要预训练权重的情况下同时训练了压缩学生和集成教师。该方法可以交付多个压缩的学生，并且使用我们的框架，可以以高效和灵活的方式适应不同场景。实验结果表明，使用我们的框架，一个压缩率达 97% 的 ResNet110 学生模型在 CIFAR100 数据集上相对精度提高了 10.64％，类似地，一个压缩率达 95％的 DenseNet-BC （k = 12）模型相对精度提高了 8.17％。

    Nov, 2020

  • 时空图卷积网络上的知识蒸馏用于交通预测

    使用时空图神经网络 (ST-GNN) 对实时交通数据建模，通过知识蒸馏 (KD) 提高 ST-GNN 在实时交通预测中的执行效率，使用剪枝算法和联合优化实现网络架构搜索和精调，评估结果表明，即使保留网络参数的仅 3％，我们的方法仍能使学生网络接近教师网络的准确性。

    Jan, 2024