拥抱黑暗知识：使用规则化知识蒸馏进行领域泛化

MMJul, 2021

拥抱黑暗知识：使用规则化知识蒸馏进行领域泛化

Embracing the Dark Knowledge: Domain Generalization Using Regularized Knowledge Distillation

Yufei Wang, Haoliang Li, Lap-pui Chau, Alex C. Kot

TL;DR该研究旨在通过知识蒸馏和梯度滤波的方法提出一种简单而有效的训练策略以增强卷积神经网络在缺乏充足和代表性数据时的泛化能力，并通过多种任务的实验结果表明其有效性以及如何进一步提升深度神经网络的泛化能力。

Abstract

Though convolutional neural networks are widely used in different tasks, lack of generalization capability in the absence of sufficient and representative data is one of the challenges that hinder their practical

convolutional neural networks generalization capability knowledge distillation gradient filter deep neural networks

发现论文，激发创造

自我知识蒸馏正则化类别预测

通过对同标签样本之间的预测分布进行正则化，使得深度神经网络在图像分类任务中显著提高预测能力和置信度表现的一种新的正则化方法。

Mar, 2020

在设备上的领域泛化

该研究对小型神经网络的领域泛化进行了系统的研究，发现知识蒸馏是处理在设备上领域泛化问题的一个更好的技术，并提出了一种称为 OKD 的方法来进一步改进 DG 在图像和语音应用领域中的性能。

Sep, 2022

$V_kD:$ 使用正交投影来改进知识蒸馏

通过特征蒸馏方法，我们的研究提出了一种新的约束特征蒸馏方法，该方法可以应用于训练小型高效的深度学习模型，并在 ImageNet 数据集上获得了显著的性能提升。

Mar, 2024

自我知识蒸馏与渐进式目标细化

该文介绍了一种称为渐进式自我知识蒸馏的有效规则化方法，适用于任何具有硬目标的监督学习任务，可以提高模型的泛化性能和置信度预测，并取得了优于基准的实验结果。

Jun, 2020

不同领域之间的直接蒸馏

基于知识蒸馏，提出了一种新的单阶段方法 “不同领域之间的直接蒸馏”(4Ds)，通过可学习的适配器和融合 - 激活机制，实现了从教师网络到学生网络的跨领域知识转移，取得了可靠的学生网络性能并超过了现有方法。

Jan, 2024

动态校正知识蒸馏

提出了一种名为 DR-KD 的简单而有效的知识蒸馏框架，通过在传统训练中动态调整目标来使学生变成自身的教师，并在蒸馏信息时进行错误更正，从而消除了笨重的教师模型的必要性，并在需要分类或对象识别的任何深度神经网络训练中均可使用，能够在不增加额外训练成本的情况下较其他知识蒸馏方法显著提高 Tiny ImageNet 测试准确性 2.65％。

Jan, 2022

知识蒸馏在小模型回归问题训练中的高效方法

本文提出了一种用于回归问题的新的知识蒸馏形式，其中包括教师异常值拒绝损失函数和多任务网络等内容，并通过对多个数据集的评估表明，该方法可以提高准确性。

Feb, 2020

深度知识：基于泛化的深度学习测试

通过 DeepKnowledge 系统测试方法，可以评估 DNN 的可靠性和泛化能力，并通过提供测量信息和检查测试集的传输知识容量来改善 DNN 的稳健性。

Mar, 2024

知识适应：教授如何适应

本研究提出一种基于知识蒸馏的领域自适应技术，针对多源无监督情感分析数据集，在考虑多个教师及其领域专业性的基础上，实现了最优结果，并提出一种可信度度量方法，用于选择高置信度示例及解决单一源情况下的领域适应问题。

Feb, 2017

无图知识蒸馏用于图神经网络

本文提出了一种被称为无图知识蒸馏（GFKD）的方法，通过建模多元伯努利分布来学习知识传输的图拓扑结构，并使用梯度估计器来优化该框架，该方法适用于处理不同拓扑结构的非网格数据。经过广泛的实验，GFKD 实现了从 GNN 中蒸馏知识的最先进性能，无需训练数据。

May, 2021