AAAIDec, 2019

在线多样化同行中的知识蒸馏

PDF
TL;DR本文提出了一种双层蒸馏网络框架 OKDDip，其中包括多个辅助对等体和一个领导群体，辅助对等体通过注意力机制获取自己的预测目标，来作为组群内部的目标进行蒸馏学习，然后再将知识传递给领导群体，实现知识转移。实验结果表明，该框架在训练或推理复杂度上不会牺牲性能，相较于现有方法，可以提供更好的蒸馏效果。
distillationknowledge transferteacher-free distillationensemble learningattention-based mechanism
发现论文，激发创造
  • 在线知识蒸馏的同行协作学习

    该论文提出了一种名为 “Peer Collaborative Learning” 的在线知识蒸馏方法，该方法能够将在线集成和网络协作融入一个统一的框架中，并在 CIFAR-10，CIFAR-100 和 ImageNet 等数据集上得到了验证及优于其他方法的效果。

    Jun, 2020

  • 可切换的在线知识蒸馏

    本文提出了 Switchable Online Knowledge Distillation (SwitOKD) 模型，通过在训练阶段通过专家模式（暂停教师）和学习模式（重新启动教师）之间进行自适应切换策略以校准蒸馏差距以提高学生的性能，并且将 SwitOKD 模型扩展到多个网络。

    Sep, 2022

  • 自适应多教师多层级知识蒸馏

    我们提出了基于多教师多层知识蒸馏学习框架的自适应学习方法，该方法通过将每个教师与潜在表示相关联，自适应地学习实例级教师重要性权重，从而获取集成的高级知识，并通过多组提示策略从多个教师处汇集中间级知识。实验表明，该方法确保学生比强竞争者取得了更好的性能。

    Mar, 2021

  • 图神经网络的在线对抗蒸馏

    本文提出一种在线对抗蒸馏方法，通过以团体知识来作为动态虚拟教师和有效地捕获图神经网络中的结构变化来同时训练一组图神经网络。在这个方法中，我们通过传输反映图拓扑和节点属性信息的本地知识和反映类预测的全局知识来增强彼此的性能，以提高蒸馏性能。

    Dec, 2021

  • 在线蒸馏中的集成学习解耦知识

    通过独立的教师生成在线知识蒸馏的分离知识，以增加网络之间的差异性和降低模型崩溃的可能性，并采用衰减集成方案来提高教师的监督韧性。通过对 CIFAR-10、CIFAR-100 和 TinyImageNet 的广泛实验验证了我们方法的优越性，并进行了消融研究和进一步分析来证明其有效性。

    Dec, 2023

  • 基于分支协作的异构学习对话生成

    使用对话属性的双重群协作知识蒸馏，降低分支之间的同质性问题，并在两个公共领域的对话数据集中实现了超越先前工作的表现。

    Mar, 2023

  • 在线知识蒸馏用于高效姿态估计

    本文提出了一种新型的在线知识蒸馏方法 OKDHP，通过多分支网络和特征聚合单元以及像素级 Kullback-Leibler 散度来保证人体姿态估计的效率和准确性。实验结果表明，该方法在 MPII 和 COCO 数据集上表现良好。

    Aug, 2021

  • 即席本地集成的知识蒸馏

    本文研究使用在线知识蒸馏方法，提出了一种 On-the-fly Native Ensemble (ONE) 策略，通过构建强大的 teacher 来提高目标网络的学习，该方法在多种深度神经网络上性能明显优于其他方法，并具有计算效率优势。

    Jun, 2018

  • 分布偏移对于使用网络收集的图片进行知识蒸馏很重要

    知识蒸馏是从预训练教师网络中学习轻量级学生网络的方法，但现有方法在原始训练数据不可用时往往不可行。为解决这个问题，该文提出了一种名为 “不同分布知识蒸馏” 的新方法（KD$^{3}$），其包括三个组件：从互联网收集训练实例，通过教师网络和学生网络的综合预测动态选择有用的训练实例；对齐两个网络的特征和分类器参数进行知识记忆；新建一个对比学习块以生成具有新分布的扰动数据用于实例对齐。该方法在不同基准数据集上的实验表明，KD$^{3}$ 能够超越现有的无数据知识蒸馏方法。

    Jul, 2023

  • 置信度感知的多教师知识蒸馏

    该研究提出了一种自适应分配逐样本可靠度的方法，以每个教师的预测可信度来稳定知识转移过程，并结合中间层来提高学生成绩，在不同的教师 - 学生架构下，优于所有其他现有方法。

    Dec, 2021