Oct, 2022

使用未标记的例子进行加权蒸馏

PDF
TL;DR本文探讨了一种主要用于训练深度神经网络的知识蒸馏方法，其使用未标记的数据集作为输入。该方法提出了一种基于 “去偏” 方法的小网络共同训练框架，不需要超参数并且能在普遍学术数据集上展示出明显的改进效果。
distillationneural networksteacher-student modelunlabeled dataloss function
发现论文，激发创造
  • 基于偏差方差平衡的知识蒸馏软标签优化思考

    本文研究了软标签蒸馏对偏差 - 方差平衡的影响，发现软标签的训练在样本层面上影响偏差 - 方差的平衡，并提出了加权软标签方法以适应样本层面的偏差 - 方差平衡，实验证明该方法有效。

    Feb, 2021

  • 探索基于样本原型的软标签数据蒸馏对不平衡数据分类的潜力

    该研究以实际数据集为基础，探索一种简单的数据精炼技术在原型软标签精炼中的潜力，通过集成优化步骤以提高分类准确性，并对不平衡度不同的数据集进行实验验证，发现该方法在数据精炼和数据增强方面的能力。

    Mar, 2024

  • 鲁棒主动蒸馏

    通过游戏论的形式，提供了一种无需超参数，能够同时提供准确且充分信息的软标签，从而显著提高了现有主动学习与主动知识蒸馏方法的效果。

    Oct, 2022

  • uDistil-Whisper: 通过大规模伪标签进行无标签数据过滤的知识蒸馏

    该研究论文提出了一种无监督或无标签的框架来提炼 Whisper 模型，通过这种方法，在没有使用任何标记数据的情况下，使得提炼出的模型在性能上能与教师模型相媲美或更好，并且计算和内存效率相对更高。

    Jul, 2024

  • 强化多教师选择的知识蒸馏

    本文研究了一种改进模型压缩方法，通过强化学习动态调整知识蒸馏中教师模型的权重，从而提高了学生模型性能，适用于自然语言处理任务。

    Dec, 2020

  • 数据集蒸馏：学习标签而非图像

    针对数据集蒸馏的问题，我们提出了用合成标签来训练模型，比基于图像的方法更为有效；我们引入了更加鲁棒和灵活的元学习算法以及一种基于凸优化层的一阶策略，这种新算法可以提高模型的性能，并且可兼容各个优化器及不同的神经结构。我们的研究发现，标签蒸馏还能夸数据集应用，例如只通过合成标签的英文字母来训练以学习日文字母识别。

    Jun, 2020

  • 利用早期结果来调控蒸馏中的特征偏倚

    深度网络在现实世界的监督学习任务中往往学习到伪特征 - 标签相关性，而蒸馏中学生模型的表征能力可能比相应的教师模型低，我们提出了一种新颖的早期输出机制，通过使用网络较早层的表征来尝试预测标签，这些早期输出可以自动识别出形式为自信但错误的预测的问题实例或组，利用这些信号在实例级别调节蒸馏损失，不仅能够在基准数据集上大幅改善组公平度度量，还能提高学生模型的整体准确性，此外，我们还进行了次要分析，揭示了特征学习在监督和蒸馏中的作用。

    Oct, 2023

  • 用未标记的转移数据将 BERT 蒸馏为简单的神经网络

    该研究论文针对知识蒸馏在自然语言处理中预训练模型所遇到的问题，探讨利用领域内未标记的数据、有限的已标记数据和基于简单 RNN 模型的硬蒸馏方法解决师生模型间性能差异的问题。实验结果表明，使用软蒸馏和利用教师模型的中间表示，学生模型的性能可以进一步提高，而在低资源环境下，学生模型在保证与教师模型性能基本持平的情况下，可实现最多 26 倍的压缩比，针对多语言环境的扩展实验结果更是惊人。

    Oct, 2019

  • 使用蒸馏技术从噪声标签中学习

    提出适用于学习有噪声标签的统一蒸馏框架，利用包括一个小的干净数据集和知识图谱中的标签关系来 “对冲” 学习风险，并提出了一套新的基准数据集，用于评估学习有噪声标签的任务。实证研究证明了我们提出的方法在所有领域中的有效性。

    Mar, 2017

  • 从未调校的教师中抽取定性的学生

    本文提出一种方法，在通过知识蒸馏传递信息来从教师网络中提高浅层学生网络性能的同时，生成一个校准的学生模型，该方法依赖于数据增强技术的融合并扩展了传统知识蒸馏，因此可用于关系知识蒸馏和对比表示蒸馏，并在 CIFAR-10，CIFAR-100，CINIC-10 和 TinyImageNet 等各种数据集上进行了验证。

    Feb, 2023