基于核的渐进式蒸馏技术用于加法器神经网络

Sep, 2020

基于核的渐进式蒸馏技术用于加法器神经网络

Kernel Based Progressive Distillation for Adder Neural Networks

Yixing Xu, Chang Xu, Xinghao Chen, Wei Zhang, Chunjing Xu...

TL;DR本文提出了一种新的基于递进的核知识蒸馏方法 (progressive kernel based knowledge distillation, PKKD) 来改善加法神经网络 (Adder Neural Networks, ANNs) 性能的方法，并在多个基准测试上对所提出的方法的有效性进行了验证。

Abstract

adder neural networks (ANNs) which only contain additions bring us a new way of developing deep neural networks with low energy consumption. Unfortunately, there is an accuracy drop when replacing all convolution

adder neural networks low energy consumption knowledge distillation convolutional neural network performance

发现论文，激发创造

通过知识蒸馏从人工神经网络构建深度脉冲神经网络

本文提出了一种新的方法，利用知识蒸馏构建深度 SNN 模型，通过利用 ANN 作为教师模型和 SNN 作为学生模型进行联合训练算法，可以更加有效地构建深层脉冲神经网络结构，并且在与不可微分波形的通信时，仍然能够避免从零开始训练 SNN，并且具有良好的噪声免疫能力。

Apr, 2023

再生神经网络

本文研究知识迁移领域的另一种方法：Born-Again Networks (BANs)，将学生的参数与老师的相同，来达到比老师更好的性能表现。在计算机视觉和语言建模任务中， BANs 表现出甚至比老师高出许多的性能得分，并且在各种规模的学生中，将知识从 DenseNets 到 ResNets 和反向传输，都显示出明显的优势

May, 2018

跟随自己的道路：一种渐进式的知识蒸馏方法

本文提出了一种名为 ProKT 的知识蒸馏方法，通过将教师模型的监督信号投影到学生参数空间中，从而在优化过程中实现了更好的局部最优解，实验结果表明，与其他现有的知识蒸馏方法相比，ProKT 在图像和文本数据集上都展现出了卓越的性能。

Jul, 2021

P-KDGAN: 基于 GAN 的渐进式知识蒸馏用于单类别新颖性检测

本文提出了基于生成对抗网络的渐进式知识蒸馏来解决资源限制下深度神经网络参数过多的问题，并在检测异常实例的一个类别新奇检测上实现了最先进的性能。通过在 CIFAR-10、MNIST 和 FMNIST 上进行实验，结果显示，我们的方法在压缩计算的同时提高了学生 GAN 的性能。

Jul, 2020

基于响应、特征和关系的知识蒸馏分类

这篇论文提供了一份全面的知识蒸馏调查，包括知识类别、蒸馏方案和算法，以及一些性能比较的实证研究。

Jun, 2023

退火知识蒸馏

本文介绍了一种名为 Annealing-KD 的改进型知识蒸馏方法，通过渐进式地提供教师模型提供的丰富信息来训练更小的学生模型，从而使得知识蒸馏方法在训练力度较大的学生模型时更有效。作者在不同的任务上进行了实验验证，包括图像分类和自然语言推理等。

Apr, 2021

增强卷积神经切向核

该研究使用新操作 Local Average Pooling (LAP) 修正了 CNN-GP 和 CNTK 并采用 Coates 等人提出的图像预处理技术，成功将在 CIFAR-10 数据集上的分类准确率提升至 89％，具有与 AlexNet 相当的表现。

Nov, 2019

Pro-KD：跟随老师的足迹进行渐进式蒸馏

本文介绍了一种名为 Progressive Knowledge Distillation 的技术，通过模仿教师模型的训练轨迹，改善了知识蒸馏中的 “容量差距问题”（capacity-gap problem）和 “检查点搜索问题”（checkpoint-search problem），在不同的任务（如图像分类、自然语言理解等）中，与最先进的技术相比，实验结果始终保持更好的表现。

Oct, 2021

大卷积核是否比 Transformer 更适合为 ConvNets 提供指导？

研究表明，现代大核卷积神经网络对于小核卷积神经网络的教学更加有效，从而更适合于知识蒸馏。在使用大到小核蒸馏的过程中，大卷积神经网络的良好特性，例如更大的有效接收域，可以顺利地传递到学生身上，并且在 ImageNet 上实现了 83.1% 的 top-1 准确度，超过了当前的 SOTA 方法，包括 ConvNeXt V2 和 Swin V2

May, 2023

$V_kD:$ 使用正交投影来改进知识蒸馏

通过特征蒸馏方法，我们的研究提出了一种新的约束特征蒸馏方法，该方法可以应用于训练小型高效的深度学习模型，并在 ImageNet 数据集上获得了显著的性能提升。

Mar, 2024