AAAIFeb, 2021

基于注意力特征匹配的知识蒸馏

PDF
TL;DR本文提出一种利用基于注意力的元网络来实现特征蒸馏的方法，该方法在不手动选择链接的情况下有效地控制了所有可能的特征对的蒸馏强度，从而提供了更好的模型压缩和迁移学习任务的性能。
knowledge distillationfeature distillationmeta-networkmodel compressiontransfer learning
发现论文，激发创造
  • 频率注意力知识蒸馏

    使用频域中的注意机制，在图像分类中提出了一种增强的知识蒸馏模型，可以从复杂的教师模型中提取全局信息，并在各种教师和学生架构上实验证明本方法优于其他知识蒸馏方法。

    Mar, 2024

  • 基于图的知识探索：通道关系图的多层特征蒸馏

    基于图知识的蒸馏方法结合多级特征对齐策略和注意力引导机制，利用谱嵌入的技术将学生模型的特征空间与教师网络的关系和结构复杂性相融合，通过全局视角理解和利用特征集之间的动态关系，从而更准确地模仿教师模型的复杂结构性依赖关系，实验证明该方法在 CIFAR-100、MS-COCO 和 Pascal VOC 数据集上的效果优于以往的特征蒸馏方法，证明其有效性和适用性。

    May, 2024

  • 知识回顾中的知识提炼

    本研究在知识蒸馏中不同于先前方法，提出了跨层连接路径的重要性，通过新的重审机制设计了嵌套紧凑的框架，极大地提高了学生网络的性能，在分类、目标检测和实例分割等任务中均获得了显著的成果。

    Apr, 2021

  • 目标感知 Transformer 的知识蒸馏

    本篇论文提出了一种新型的知识蒸馏方法，采用一对所有的空间匹配，提高小型神经网络的性能，不同于以往的一对一的空间匹配，从而导致所有的空间位置通常都具有不同的语义信息。该方法在各种计算机视觉基准测试中都超过了最先进的方法。

    May, 2022

  • 基于类别注意力转移的知识蒸馏

    提出了一种基于类别注意力传递的知识蒸馏（CAT-KD）方法，该方法不仅具有高解释性，还在多个基准测试中实现了最先进的性能，通过传输课程激活地图，从而提供了关于 CNN 的更好的理解，并改进了 CAT-KD 的解释性。

    Apr, 2023

  • 基于生成模型的特征知识蒸馏用于行为识别

    本研究提出了一种创新的知识蒸馏框架，利用生成模型训练轻量级学生模型，通过特征表示和基于生成模型的特征蒸馏阶段，转移基于注意力的特征语义，在视频动作识别任务中显示出显著的性能改进。

    Dec, 2023

  • 双向蒸馏的多视角特征表示在对话生成中的应用

    本文提出一种基于知识蒸馏的对话模型训练框架，通过分组多任务学习、多视角特征蒸馏和双向蒸馏等策略，找到多数据集共性知识以提高模型泛化性能。实验结果表明该框架可以有效地提高模型的泛化性能，而不影响训练效率。

    Feb, 2021

  • 知识扩散用于蒸馏

    本论文提出了一种名为 DiffKD 的新型知识蒸馏方法，其基于扩散模型显式去噪和匹配特征，以更好地实现精简干净特征和教师特征的蒸馏。在图像分类、对象检测和语义分割任务中，DiffKD 在各种特征类型上均取得了最先进的性能。

    May, 2023

  • 评论有助于更好地学习：时间监督知识蒸馏

    研究发现，在网络训练期间，特征映射的演化遵循时间顺序属性，使用卷积长短期记忆网络（Conv-LSTM）提取学生的不同训练阶段的时空特征进行动态目标训练，可以实现在学生网络中对旧知识的精炼并利用它们来帮助当前的学习，相关实验证明其方法相对于现有的知识蒸馏方法在各种网络架构和不同任务上的有效性和优势。

    Jul, 2023

  • 光学遥感图像中基于注意力特征蒸馏的高效目标检测

    提出了一种新的注重注意力的特征蒸馏（AFD）方法，通过从教师检测器中蒸馏本地和全局信息，实现了目标检测模型在资源有限的边缘设备上的高效性能。

    Oct, 2023