ECCVJul, 2022

Zipf 标签平滑的高效单次自蒸馏

PDF
TL;DR该论文提出一种高效自蒸馏方法，名为 Zipf's Label Smoothing（Zipf 的 LS），可以提高预测准确性，使用 ResNet50 在 INAT21 细粒度分类数据集上，我们的技术实现比基准准确性提高了 +3.61％，并且比先前的标签平滑或自我蒸馏策略提高了 0.88％。
发现论文，激发创造
  • 自我蒸馏作为实例特定标签平滑化

    通过实验证明，多代自蒸馏能够在一定程度上提高模型的性能，之所以会出现这种情况，部分原因在于教学者预测的多样性。我们提出了一种新的教师 - 学员训练解释，即估计自适应正则化，这使得标签平滑的预测不确定性和预测多样性同样重要。我们还提出了一种新的实例特定标签平滑方法，并提供了实验证明其在许多情况下优于传统标签平滑方法。

    Jun, 2020

  • 自知自明的自适应标签平滑在自然语言生成中的应用

    提出一种基于模型概率分布的标签平滑正则化方法，使每个样本的平滑程度都不同，从而在训练期间动态自我调整平滑程度，有效提高模型的泛化和校准性能。

    Oct, 2022

  • 自我蒸馏：通过蒸馏提高卷积神经网络性能

    提出了一种名为 “自蒸馏” 的卷积神经网络训练框架，通过将网络大小缩小而不是扩大来显著提高卷积神经网络的性能（准确性）。它与传统的知识蒸馏不同，后者是将预训练的教师神经网络的输出作为 softmax 层输出的近似值强制学生神经网络去逼近。该框架将知识内化到网络本身，对深度方面的可伸缩推理提供了灵活性，能够在资源有限的边缘设备上运行。

    May, 2019

  • 自我监督到蒸馏：长尾视觉识别

    本文提出了一种 Self Supervised 到 Distillation (SSD) 的概念简单却特别有效的多阶段训练方案，通过使用软标签，此方案能够很好的将标签相关性融入到多阶段训练方案中来有效的进行长尾识别，实验表明，我们的方法在几个长尾识别基准上均取得了最先进的结果。

    Sep, 2021

  • 基于实例的标签平滑技术用于更好的校准分类网络

    提出了两种新的基于实例的标签平滑方法，其中使用以硬独热标签训练的教师网络来确定应用于每个实例的每个类别的平滑度量。根据类别与实际类别的相似性，分配平滑因子。在各种深度神经体系结构和图像分类数据集上，我们的方法显示出比标准标签平滑更好的泛化和校准性。

    Oct, 2021

  • 自我知识蒸馏正则化类别预测

    通过对同标签样本之间的预测分布进行正则化，使得深度神经网络在图像分类任务中显著提高预测能力和置信度表现的一种新的正则化方法。

    Mar, 2020

  • uDistil-Whisper: 通过大规模伪标签进行无标签数据过滤的知识蒸馏

    该研究论文提出了一种无监督或无标签的框架来提炼 Whisper 模型，通过这种方法，在没有使用任何标记数据的情况下，使得提炼出的模型在性能上能与教师模型相媲美或更好，并且计算和内存效率相对更高。

    Jul, 2024

  • 多类别标签噪声下的自我蒸馏和部分标签学习的理解

    自蒸馏是使用教师模型的输出来训练学生模型的过程，本研究在多类别分类中从理论上探讨了自蒸馏，研究了多轮自蒸馏和使用精炼教师输出的自蒸馏，其灵感源于部分标签学习（PLL）。我们通过为学生模型的输出推导出一个封闭形式解，发现自蒸馏在具有高特征相关性的实例中起到标签平均化的作用。这种平均化有助于模型关注与给定实例相关的特征聚类以预测标签，但在蒸馏轮次增多时会导致性能衰减。此外，我们证明了自蒸馏在标签噪声情景中的有效性，并确定了达到 100% 分类准确率所需的标签污染条件和最小蒸馏轮次。我们的研究还揭示了在高噪声率条件下，一步精炼教师输出的蒸馏超过了使用教师直接输出的多步自蒸馏的效果。

    Feb, 2024

  • 自监督知识蒸馏用于少样本学习

    该论文提出了一种两阶段的学习方法，通过最大化特征嵌入的熵来创造一个最佳输出流形，并通过自我监督的双胞胎约束流形，最小化特征嵌入的熵来提高深度神经网络在少样本学习任务中的表示能力。

    Jun, 2020

  • 多层知识蒸馏用于文本领域中的外部分布检测

    本研究实现了一种多级知识蒸馏方法，将自监督学习与基于语言模型的强制学习相结合，以生成新颖的 OoD 检测方案，并在多个基准数据集上实现了最新的性能。

    Nov, 2022