Jun, 2020

自我蒸馏作为实例特定标签平滑化

PDF
TL;DR通过实验证明，多代自蒸馏能够在一定程度上提高模型的性能，之所以会出现这种情况，部分原因在于教学者预测的多样性。我们提出了一种新的教师 - 学员训练解释，即估计自适应正则化，这使得标签平滑的预测不确定性和预测多样性同样重要。我们还提出了一种新的实例特定标签平滑方法，并提供了实验证明其在许多情况下优于传统标签平滑方法。
multi-generational self-distillationpredictive diversitylabel smoothingneural network architecturesgeneralization
发现论文，激发创造
  • 多类别标签噪声下的自我蒸馏和部分标签学习的理解

    自蒸馏是使用教师模型的输出来训练学生模型的过程，本研究在多类别分类中从理论上探讨了自蒸馏，研究了多轮自蒸馏和使用精炼教师输出的自蒸馏，其灵感源于部分标签学习（PLL）。我们通过为学生模型的输出推导出一个封闭形式解，发现自蒸馏在具有高特征相关性的实例中起到标签平均化的作用。这种平均化有助于模型关注与给定实例相关的特征聚类以预测标签，但在蒸馏轮次增多时会导致性能衰减。此外，我们证明了自蒸馏在标签噪声情景中的有效性，并确定了达到 100% 分类准确率所需的标签污染条件和最小蒸馏轮次。我们的研究还揭示了在高噪声率条件下，一步精炼教师输出的蒸馏超过了使用教师直接输出的多步自蒸馏的效果。

    Feb, 2024

  • 自我知识蒸馏正则化类别预测

    通过对同标签样本之间的预测分布进行正则化，使得深度神经网络在图像分类任务中显著提高预测能力和置信度表现的一种新的正则化方法。

    Mar, 2020

  • 基于实例的标签平滑技术用于更好的校准分类网络

    提出了两种新的基于实例的标签平滑方法，其中使用以硬独热标签训练的教师网络来确定应用于每个实例的每个类别的平滑度量。根据类别与实际类别的相似性，分配平滑因子。在各种深度神经体系结构和图像分类数据集上，我们的方法显示出比标准标签平滑更好的泛化和校准性。

    Oct, 2021

  • 自知自明的自适应标签平滑在自然语言生成中的应用

    提出一种基于模型概率分布的标签平滑正则化方法，使每个样本的平滑程度都不同，从而在训练期间动态自我调整平滑程度，有效提高模型的泛化和校准性能。

    Oct, 2022

  • 授课老师在蒸馏中的偏差：违抗是否值得？

    通过一系列的实验，我们发现知识蒸馏 (distillation) 在教师网络存在低置信度的点的时候，会使得学生网络的置信度更低，而之后引入知识蒸馏 (loss) 会恢复部分性能，同时我们提供了两种理论视角来理解这种现象，作为特征空间的正则化项和梯度去噪器。

    Jan, 2023

  • Zipf 标签平滑的高效单次自蒸馏

    该论文提出一种高效自蒸馏方法，名为 Zipf's Label Smoothing（Zipf 的 LS），可以提高预测准确性，使用 ResNet50 在 INAT21 细粒度分类数据集上，我们的技术实现比基准准确性提高了 +3.61％，并且比先前的标签平滑或自我蒸馏策略提高了 0.88％。

    Jul, 2022

  • 在标签噪声存在的情况下理解自蒸馏

    研究了在带有噪声标签的监督学习问题中，使用 SD 的效果，并在理论上和经验上表明，最优的 SD 参数在某些情况下大于 1，证明 SD 比优化有用，并在二元分类和随机标签损坏的情况下证明了学生比教师有更好的准确性。

    Jan, 2023

  • 自我蒸馏：通过蒸馏提高卷积神经网络性能

    提出了一种名为 “自蒸馏” 的卷积神经网络训练框架，通过将网络大小缩小而不是扩大来显著提高卷积神经网络的性能（准确性）。它与传统的知识蒸馏不同，后者是将预训练的教师神经网络的输出作为 softmax 层输出的近似值强制学生神经网络去逼近。该框架将知识内化到网络本身，对深度方面的可伸缩推理提供了灵活性，能够在资源有限的边缘设备上运行。

    May, 2019

  • 文本摘要的嘈杂自知力蒸馏

    本文将自我知识蒸馏应用到文本摘要中，通过引入教师模型生成平滑标签以帮助正则化训练，同时使用多个噪声信号来更好地模拟不确定性，实验结果显示该框架提高了预先训练和非预先训练摘要器的性能，并达到了最先进的结果。

    Sep, 2020

  • 多渠道的自律

    本文提出 SMC-2 方法，结合了一致性正则化和自我蒸馏概念，旨在改善模型的泛化能力和对噪声标签的鲁棒性，实验证明在各种模型上表现优异，并能减轻标签噪音干扰导致的泛化能力下降问题。

    Apr, 2023