在线知识蒸馏用于高效姿态估计
本研究利用卷积神经网络进行人体姿态估计，通过利用关系和空间上下文，提出了一种特殊的CNN级联架构，并能够在部分遮挡的情况下，鲁棒地推断姿势，该级联架构能够指导网络集中精力在图像的哪个位置，并明确编码部分限制和上下文约束，并能够应对遮挡。我们的级联结构表现出色，能够在MPII和LSP数据集上取得最佳的表现。
Sep, 2016
本文探讨了如何将外部知识有效地注入深度神经网络中以引导其训练过程，使用Staked Hourglass设计和Inception-resnet模块构建了分形网络来将人体姿势图像回归为热力图，并使用一个辅助成本函数学习了投影矩阵来注入外部特征。在两个广泛使用的基准测试中，证明所提出的方法取得了最先进的性能。
May, 2017
本研究提出一种新的姿势模型学习策略，即快速姿势蒸馏（Fast Pose Distillation，FPD），旨在提高人体姿势估计模型的效率和可扩展性，并通过将强教师网络的姿势结构知识有效地转移给轻型姿势神经网络体系结构来实现，并在两个标准基准数据集MPII和Leeds Sports Pose中广泛评估，证明了FPD方法在模型节约成本方面优于广泛的最新姿势估计方法。
Nov, 2018
提出了一种基于DKD模型的人体姿势估计方法，通过利用时间线索进行姿势核的在线蒸馏和通过简单的卷积计算实现当前帧和姿势核之间的匹配，从而实现对小网络姿态估计的显著提升。
Aug, 2019
提出了一种基于师生学习框架的新方法来进行无需任何三维注释或侧面信息的三维人体姿态估计。通过姿势字典建模进行正则化以估算物理上合理的3D姿势，还提出了循环一致架构，以提高教师网络的训练效果并改进姿态估计表现。通过采用图卷积网络进行训练，进一步提高了估计准确性，同时利用知识蒸馏和促进3D旋转等变特性的循环一致架构，增强了姿态估计性能。在Human3.6M和MPI-INF-3DHP上进行了广泛的实验，相对于最先进的无监督方法将3D关节预测误差降低了11.4％，同时也优于许多使用侧面信息的弱监督方法。
Dec, 2020
通过评估一组查询策略，在人体姿势估计应用中，通过两种方法（离线方法和基于知识蒸馏的在线评估）评估训练过程中所选择的帧对训练结果的影响，证明了在实时场景中有效地将边缘轻量级模型适应于新环境的训练的可能性。
Sep, 2023
通过知识蒸馏实现不同分辨率模型的性能提升，包括构建一个跨领域知识蒸馏框架，以及使用尺度自适应的投影仪集合模块来空间对齐输入分辨率不同的模型的特征图，进一步通过交叉类别对齐模块和从易到难的训练策略提高蒸馏性能。在MPII和COCO两个常见基准数据集上进行了大量实验证明了我们方法的有效性和效率。
May, 2024
通过多教师知识蒸馏与统一的骨骼表示相结合，我们提出了一种新颖的方法来解决姿态估计中不一致的骨骼注释所带来的挑战，同时提升了模型在不同数据集上的适应性，实现了更准确的康复7个主要关键点和21个扩展关键点的预测。
May, 2024