ICCVAug, 2021

在线知识蒸馏用于高效姿态估计

PDF
TL;DR本文提出了一种新型的在线知识蒸馏方法 OKDHP，通过多分支网络和特征聚合单元以及像素级 Kullback-Leibler 散度来保证人体姿态估计的效率和准确性。实验结果表明，该方法在 MPII 和 COCO 数据集上表现良好。
human pose estimationknowledge distillationmulti-branch networkfeature aggregation unitkullback-leibler divergence
发现论文，激发创造
  • 视频中高效姿态估计的动态核蒸馏

    提出了一种基于 DKD 模型的人体姿势估计方法，通过利用时间线索进行姿势核的在线蒸馏和通过简单的卷积计算实现当前帧和姿势核之间的匹配，从而实现对小网络姿态估计的显著提升。

    Aug, 2019

  • 跨领域知识蒸馏在低分辨率人体姿势估计中的应用

    通过知识蒸馏实现不同分辨率模型的性能提升，包括构建一个跨领域知识蒸馏框架，以及使用尺度自适应的投影仪集合模块来空间对齐输入分辨率不同的模型的特征图，进一步通过交叉类别对齐模块和从易到难的训练策略提高蒸馏性能。在 MPII 和 COCO 两个常见基准数据集上进行了大量实验证明了我们方法的有效性和效率。

    May, 2024

  • 在线多样化同行中的知识蒸馏

    本文提出了一种双层蒸馏网络框架 OKDDip，其中包括多个辅助对等体和一个领导群体，辅助对等体通过注意力机制获取自己的预测目标，来作为组群内部的目标进行蒸馏学习，然后再将知识传递给领导群体，实现知识转移。实验结果表明，该框架在训练或推理复杂度上不会牺牲性能，相较于现有方法，可以提供更好的蒸馏效果。

    Dec, 2019

  • 从深度姿态回归网络中提取知识

    本研究提出了一种从深度姿态回归网络中提取知识以实现高效视觉测距的方法，该方法通过 Attentive Imitation Loss (AIL) 的方式注入教师损失作为置信度评分，并使用 Attentive Hint Training (AHT) 方法进行中间表示的学习，以实现知识的迁移。经实验证明，我们可以通过最多 92.95% 的参数减少和 2.12 倍的计算速度来使得学生网络的预测结果保持接近于教师网络。

    Aug, 2019

  • 高效参数和适合学生的知识蒸馏

    本文提出一种参数高效、学生友好的知识蒸馏方法 PESF-KD，通过更新相对较少的参数，实现高效、充分的知识转移，其中引入了适配器模块，将教师的输出转化为合适平滑度的软标签。实验表明，与在线蒸馏方法相比，PESF-KD 能够显著降低培训成本，同时获得有竞争力的结果。

    May, 2022

  • 快速人体姿势估计

    本研究提出一种新的姿势模型学习策略，即快速姿势蒸馏（Fast Pose Distillation，FPD），旨在提高人体姿势估计模型的效率和可扩展性，并通过将强教师网络的姿势结构知识有效地转移给轻型姿势神经网络体系结构来实现，并在两个标准基准数据集 MPII 和 Leeds Sports Pose 中广泛评估，证明了 FPD 方法在模型节约成本方面优于广泛的最新姿势估计方法。

    Nov, 2018

  • 高效在线主动蒸馏的查询策略

    通过评估一组查询策略，在人体姿势估计应用中，通过两种方法（离线方法和基于知识蒸馏的在线评估）评估训练过程中所选择的帧对训练结果的影响，证明了在实时场景中有效地将边缘轻量级模型适应于新环境的训练的可能性。

    Sep, 2023

  • 可切换的在线知识蒸馏

    本文提出了 Switchable Online Knowledge Distillation (SwitOKD) 模型，通过在训练阶段通过专家模式（暂停教师）和学习模式（重新启动教师）之间进行自适应切换策略以校准蒸馏差距以提高学生的性能，并且将 SwitOKD 模型扩展到多个网络。

    Sep, 2022

  • 特征图级别在线对抗知识蒸馏

    本文提出了一种在线知识蒸馏方法，在对抗训练框架下同时传输分类概率和特征图的知识，并使用判别器区分不同网络的特征图分布进行训练，比传统的直接对齐方法（如 L1）更适用于在线蒸馏，在多个网络之间引入循环学习方案，实验表明该方法的性能显著提高，特别是在训练一对小型和大型网络的情况下。

    Feb, 2020

  • 基于 3D 增强的对比知识蒸馏，用于基于图像的物体位姿估计

    该研究论文提出了一种基于图像的物体姿态估计方法，利用多模态方法学习的 3D 知识通过对比知识蒸馏框架有效地转移给单模态模型，使其在没有 3D 信息的情况下提升物体姿态估计准确率，实验证明了该方法的有效性。

    Jun, 2022