ICLRJan, 2023

监督复杂度及其在知识蒸馏中的作用

PDF
TL;DR本文提出了一个新的理论框架，探究了知识蒸馏的学生的普适性行为，并评估了在线蒸馏的效力。该框架突出了教师提供监督和学生的神经切线核之间的对齐度的复杂性之间微妙的相互作用，为蒸馏中流行的各种技术的效用提供了严密的理论基础。
发现论文，激发创造
  • 准备教材：利用更好的监督改进知识蒸馏

    本研究提出了两种新颖的方法，知识调整（KA）和动态温度蒸馏（DTD），用于惩罚错误监督并改善学生模型，实验表明该方法在各种评测数据集上，以及与其他基于知识蒸馏的方法相结合时，都能获得鼓舞人心的表现。

    Nov, 2019

  • 知识蒸馏与自监督相遇

    本文介绍了一种新的知识蒸馏方法，使用自我监督信号作为辅助任务来提取自预训练教师模型中的丰富知识，并将其成功地传递到学生网络中，从而实现了在各种基准测试下的表现优异。

    Jun, 2020

  • 学生大型语言模型是否能和老师一样表现出色？

    深度学习模型、知识蒸馏、软标签、温度缩放和模型性能在知识蒸馏中的关键决定因素及其潜力。

    Oct, 2023

  • 近期师生学习研究综述

    知识蒸馏是一种将深度神经网络的知识转移到更小更快的神经网络中的方法，近期变体包括教学助理蒸馏、课程蒸馏、遮罩蒸馏和解耦蒸馏等，致力于通过引入额外的组件或改变学习过程来提高知识蒸馏的性能。

    Apr, 2023

  • 响应性网络压缩中蒸馏质量的控制

    本文探讨了如何提高知识压缩的效果，发现教师神经网络的反应质量和相似性信息密切相关，而采用适当的批量和历元数训练教师可以提高知识压缩的效果。

    Dec, 2021

  • 通过标签修订和数据选择改进知识蒸馏

    该论文提出了一种解决知识蒸馏中错误监督的问题的方法，即通过标签修正纠正教师模型的错误预测，并引入数据选择技术以减少错误监督的影响，实验证明该方法的有效性，并表明该方法可以与其他蒸馏方法相结合，提高其性能。

    Apr, 2024

  • 知识蒸馏的有效性

    本研究评估了知识蒸馏的有效性以及它对学生和教师体系的依赖性。发现较精确的教师并不一定是好教师，且大型模型并不总是更好的教师，这导致了容器不匹配的问题，本研究表明教师的训练中止可以缓解这种效应，这些结果适用于各种数据集和模型。

    Oct, 2019

  • 视频分类中的分阶段知识蒸馏：通过补充性弱监督框架对学生进度进行协调

    本文提出了针对视频分类的基于子阶段学习的知识蒸馏框架，采用渐进级联训练方法和伪标签优化策略来提高效率和准确性，并在多个真实和模拟数据集上进行了广泛的实验表明其优于现有的知识蒸馏方法。

    Jul, 2023

  • 通过观察学习路径获取更好的监督信号

    本文提出了一种新的知识蒸馏方案，Filter-KD，通过观察模型的学习路径来解释现有的标签平滑和知识蒸馏方法，并发现模型可以通过 “锯齿形” 学习路径自发地改善 “糟糕” 的标签，从而提高下游分类性能。

    Mar, 2022

  • 蒸馏为什么有用：一个统计学的视角

    本论文从统计角度阐述了知识蒸馏的原理，即让一个简单的 “学生” 模型依据一个复杂的 “教师” 模型得到的标签概率分布进行训练，从而提高性能，并提出了一种新颖的与极端多分类检索技术相关的方法。

    May, 2020