May, 2023

利用相关性知识蒸馏监测人体姿态和无线电

PDF
TL;DR本文提出一个基于 Radio Frequency Sensing 技术和 Correlated Knowledge Distillation 理论的轻量级人体姿态监测系统，通过训练多支教师和学生网络以获得准确、轻量级的姿态估计，并探究 RF-visual 信号相关性。
radio frequency sensingcorrelated knowledge distillationpose monitoring systemmulti-branch teacher and student networkrf-visual signal correlation
发现论文，激发创造
  • 知识蒸馏的相关性一致性

    本文提出了一种新的基于相关性的一致性知识蒸馏框架 (CCKD)，通过引入泰勒级数展开的广义核方法捕获实例间的相关性，并在图像分类任务和度量学习任务中实现了最优结果。

    Apr, 2019

  • 强化轻量级裂纹分割模型性能的鲁棒特征知识蒸馏

    该论文开发了一种名为鲁棒特征知识蒸馏（RFKD）的框架，通过从教师模型的逻辑层和中间特征图中提取知识，并利用混合的清晰和噪声图像将稳定的模式传递给学生模型，提高其精度、泛化性能和抗噪声性能，从而改善轻型裂缝分割模型的鲁棒性。验证结果表明，在噪声图像上，RFKD 相比于最先进的知识蒸馏方法在平均 Dice 分数上提高了 62%。

    Apr, 2024

  • 通过皮尔逊相关系数的通用蒸馏框架用于目标检测

    本研究提出一种新的知识蒸馏方法，即通过皮尔逊相关系数来模拟特征之间的相互关系，以放松特征大小的限制，从而有效地在目标检测中训练异构模型，并在 COCO2017 数据集上分别与 RetinaNet 和 FCOS 基线相比，分别获得 4.1％和 4.8％的 mAP 提高。

    Jul, 2022

  • 使用相关距离和网络修剪强化的鲁棒性知识蒸馏

    我们提出了一种利用关联距离和网络修剪的强化稳健知识蒸馏（R2KD）方法，能够有效结合数据增强以提高模型的性能。在各种数据集上进行了广泛的实验，包括 CIFAR-100、FGVR、TinyImagenet 和 ImageNet，这些实验证明了我们的方法优于当前最先进的方法。

    Nov, 2023

  • 深度集体知识蒸馏

    DCKD 是一种深度集体知识蒸馏的模型压缩方法，旨在通过丰富的信息让学生模型从老师模型和其他学生模型中获取知识，本文探讨了如何在训练过程中提高类别之间的相关性，实验结果表明该方法在 ImageNet 和 CIFAR-100 数据集上取得了最先进的性能表现。

    Apr, 2023

  • 关系知识蒸馏

    该论文提出了关系知识蒸馏方法（RKD），用于将数据示例之间的相互关系转移给学生模型，进而提高其在度量学习等任务中的性能，尤其是在标准基准数据集上取得了超越其老师的表现。

    Apr, 2019

  • 残差知识蒸馏

    本研究提出了一种名为 Residual Knowledge Distillation (RKD) 的知识蒸馏方法，通过引入辅助器来进一步提炼知识，从而解决现有方法由于学习容量间的巨大差距而导致的性能下降问题，并在 CIFAR-100 和 ImageNet 等流行分类数据集上取得优异的成果，超过了现有方法的最新水平。

    Feb, 2020

  • 比较性知识蒸馏

    在大规模预训练模型时代，知识蒸馏在保持性能的同时，将计算重的教师模型的智慧转移到轻量高效的学生模型中起到了重要作用。然而，传统的知识蒸馏假设经常对教师模型进行推理，这与成本高昂且往往是专有的大规模模型的现实越来越不符。针对这一问题，本文提出了面向少教师推理知识蒸馏（FTI KD）的方法，旨在减少对教师模型推理的依赖。本文观察到，当前的知识蒸馏技术和最先进的数据增强策略在这种受限环境下效果不佳。我们从强调通过对比学习的教育原则中汲取灵感，提出了比较式知识蒸馏（CKD），它鼓励学生模型理解教师模型对样本解释的微妙差异，并为学生提供额外的学习信号，而无需进行额外的教师调用。此外，我们将 CKD 原理扩展到样本组，从有限的教师调用中实现更高效的学习。在各种实验设置下的实证评估表明，CKD 始终优于最先进的数据增强和知识蒸馏技术。

    Nov, 2023

  • 跨领域知识蒸馏在低分辨率人体姿势估计中的应用

    通过知识蒸馏实现不同分辨率模型的性能提升，包括构建一个跨领域知识蒸馏框架，以及使用尺度自适应的投影仪集合模块来空间对齐输入分辨率不同的模型的特征图，进一步通过交叉类别对齐模块和从易到难的训练策略提高蒸馏性能。在 MPII 和 COCO 两个常见基准数据集上进行了大量实验证明了我们方法的有效性和效率。

    May, 2024

  • 在线知识蒸馏用于高效姿态估计

    本文提出了一种新型的在线知识蒸馏方法 OKDHP，通过多分支网络和特征聚合单元以及像素级 Kullback-Leibler 散度来保证人体姿态估计的效率和准确性。实验结果表明，该方法在 MPII 和 COCO 数据集上表现良好。

    Aug, 2021