NIPSJul, 2023

评论有助于更好地学习：时间监督知识蒸馏

PDF
TL;DR研究发现，在网络训练期间，特征映射的演化遵循时间顺序属性，使用卷积长短期记忆网络（Conv-LSTM）提取学生的不同训练阶段的时空特征进行动态目标训练，可以实现在学生网络中对旧知识的精炼并利用它们来帮助当前的学习，相关实验证明其方法相对于现有的知识蒸馏方法在各种网络架构和不同任务上的有效性和优势。
knowledge acquisitiontemporal dimensionnetwork trainingknowledge distillationconv-lstm
发现论文，激发创造
  • 时空图卷积网络上的知识蒸馏用于交通预测

    使用时空图神经网络 (ST-GNN) 对实时交通数据建模，通过知识蒸馏 (KD) 提高 ST-GNN 在实时交通预测中的执行效率，使用剪枝算法和联合优化实现网络架构搜索和精调，评估结果表明，即使保留网络参数的仅 3％，我们的方法仍能使学生网络接近教师网络的准确性。

    Jan, 2024

  • 知识回顾中的知识提炼

    本研究在知识蒸馏中不同于先前方法，提出了跨层连接路径的重要性，通过新的重审机制设计了嵌套紧凑的框架，极大地提高了学生网络的性能，在分类、目标检测和实例分割等任务中均获得了显著的成果。

    Apr, 2021

  • 准备教材：利用更好的监督改进知识蒸馏

    本研究提出了两种新颖的方法，知识调整（KA）和动态温度蒸馏（DTD），用于惩罚错误监督并改善学生模型，实验表明该方法在各种评测数据集上，以及与其他基于知识蒸馏的方法相结合时，都能获得鼓舞人心的表现。

    Nov, 2019

  • 利用掩码特征重建提炼三维物体检测的时间知识

    通过知识蒸馏，从少量的帧中获取来自教师探测器的长期记忆，以平衡鸟瞰图 3D 目标检测中的精确性和效率，并通过生成器产生用于重建学生特征的新特征。在学生模型中输入完整帧时还探索了时间关系知识。在 nuScenes 基准测试上验证了该方法的有效性，并取得了 + 1.6 mAP 和 + 1.1 NDS 的改进，压缩时间知识后大约提高了 6 FPS 的速度，并实现了最准确的速度估计。

    Jan, 2024

  • 知识蒸馏对迁移学习的影响

    在本研究中，我们提出了一种将知识蒸馏应用于迁移学习的机器学习架构，称为 TL + KD，并对它与传统 TL 的图像分类效果进行了量化和定性比较。结果表明，在微调过程中，使用较大的教师网络提供指导和知识可以改善学生网络以实现更好的验证性能，同时研究了不同场景下的性能表现。

    Oct, 2022

  • 长短期样本蒸馏

    本文提出了一种新的训练策略 Long Short-Term Sample Distillation，通过同时利用过去训练过程中的多个阶段来引导神经网络的后续训练更新，同时只需要进行一次生成操作。该方法中，每个样本的监督信号被分解为两部分，即长期信号和短期信号，以提供稳定的指导并保证师生差异。经过一系列的实验验证，证明了这种新的训练方法的有效性。

    Mar, 2020

  • 近期师生学习研究综述

    知识蒸馏是一种将深度神经网络的知识转移到更小更快的神经网络中的方法，近期变体包括教学助理蒸馏、课程蒸馏、遮罩蒸馏和解耦蒸馏等，致力于通过引入额外的组件或改变学习过程来提高知识蒸馏的性能。

    Apr, 2023

  • TKD: 活动感知的时间知识蒸馏

    我们提出了一种名为 TKD 的新框架，利用深度神经网络基于的模型所选择的视频帧（瞬间的感知）来蒸馏轻量级模型中的时间知识，通过进行两个新的步骤：1）基于 LSTM 的关键帧选择方法；2）新的教师束缚损失设计。使用不同的目标检测方法，在多个数据集上进行了全面的经验评估，包括 Youtube-Objects 和 Hollywood 场景数据集。我们的结果显示，与其他现代对象识别方法相比，我们在动态场景的帧上的目标检测准确度 - 速度平衡方面有着一致的提高。

    Mar, 2019

  • 知识蒸馏与自监督相遇

    本文介绍了一种新的知识蒸馏方法，使用自我监督信号作为辅助任务来提取自预训练教师模型中的丰富知识，并将其成功地传递到学生网络中，从而实现了在各种基准测试下的表现优异。

    Jun, 2020

  • QUEST: 量化嵌入空间用于知识转移

    本文提出一种通过量化空间来传输知识、学习教师网络中的主视觉概念的知识蒸馏方法，通过对多种网络结构和常用基准数据集的广泛评估，证明了该方法优于现有的知识蒸馏方法。

    Dec, 2019