一种新颖的自我知识蒸馏方法，利用孪生表示学习进行行为识别

Sep, 2022

一种新颖的自我知识蒸馏方法，利用孪生表示学习进行行为识别

A Novel Self-Knowledge Distillation Approach with Siamese Representation Learning for Action Recognition

Duc-Quang Vu, Trang Phung, Jia-Ching Wang

TL;DR本文提出了一种新的自知识蒸馏方法，通过孪生表示学习来最小化给定样本的两个不同视图的表示向量之间的差异，并利用软标签蒸馏和表示向量的相似性，因此能够在同一数据点的各种视图中生成更一致的预测和表示，并在各个标准数据集上验证了其显着提高精确度的效果。

Abstract

knowledge distillation is an effective transfer of knowledge from a heavy network (teacher) to a small network (student) to boost students' performance. Self-knowledge distillation, the special case of

knowledge distillation self-knowledge distillation siamese representation learning soft label distillation supervised learning

发现论文，激发创造

关系知识蒸馏

该论文提出了关系知识蒸馏方法（RKD），用于将数据示例之间的相互关系转移给学生模型，进而提高其在度量学习等任务中的性能，尤其是在标准基准数据集上取得了超越其老师的表现。

Apr, 2019

轻量级自我知识蒸馏与多源信息融合

提出了一种利用多源信息进行自知识蒸馏的轻量级框架，其中包括反向引导方法和形状正则化方法，其在各种数据集和模型上的综合实验中表现优于基线和最先进的自知识蒸馏方法，同时具有计算效率和鲁棒性。

May, 2023

学生友好的知识蒸馏

本文提出了一种基于教师模型稍加简化后的知识表示的学生友好型知识蒸馏方法（SKD），其包含软化处理和学习简化器，通过联合训练确保知识简化过程与学生模型的训练目标相关，提高了训练效率和准确性。实验结果表明，该方法在 CIFAR-100 和 ImageNet 数据集上取得了最优性能。

May, 2023

残差知识蒸馏

本研究提出了一种名为 Residual Knowledge Distillation (RKD) 的知识蒸馏方法，通过引入辅助器来进一步提炼知识，从而解决现有方法由于学习容量间的巨大差距而导致的性能下降问题，并在 CIFAR-100 和 ImageNet 等流行分类数据集上取得优异的成果，超过了现有方法的最新水平。

Feb, 2020

知识蒸馏与自监督相遇

本文介绍了一种新的知识蒸馏方法，使用自我监督信号作为辅助任务来提取自预训练教师模型中的丰富知识，并将其成功地传递到学生网络中，从而实现了在各种基准测试下的表现优异。

Jun, 2020

自知力蒸馏在自然语言处理中

本文提出一种基于深度学习模型自身的软目标概率的自我知识蒸馏方法，在两种基本的 NLP 任务（语言模型和神经机器翻译）上部署实验，并表明了该方法的性能提高。

Aug, 2019

层次自监督增强知识蒸馏

本文提出了一种自监督增强的任务，通过辅助分类器在分层中间特征图中生成多样化的自监督知识，并执行一对一的转移来全面教授学生网络，从而改善表示能力而不失去正常分类能力。在多个网络对中，本方法都显著超过了之前的最佳结果，平均改进了 2.56％（CIFAR-100）和 0.77％（ImageNet）。

Jul, 2021

知识蒸馏对迁移学习的影响

在本研究中，我们提出了一种将知识蒸馏应用于迁移学习的机器学习架构，称为 TL + KD，并对它与传统 TL 的图像分类效果进行了量化和定性比较。结果表明，在微调过程中，使用较大的教师网络提供指导和知识可以改善学生网络以实现更好的验证性能，同时研究了不同场景下的性能表现。

Oct, 2022

通过迁移学习能力来改善知识蒸馏

本文介绍了一种名为 SLKD 的新方法，用于解决现有知识蒸馏方法中存在的教师 - 学生方法忽视教师和学生网络学习能力差异所导致的容量差距问题。

Apr, 2023

通过自我知识蒸馏提高自我：特征细化

本文提出了一种名为 FRSKD 的自我知识蒸馏方法，利用辅助自主教师网络传输分类器网络的精细化知识。该方法可应用于分类和语义分割等多样化任务，并证明其在各种任务和基准数据集中的性能提升

Mar, 2021