视频中高效姿态估计的动态核蒸馏

ICCVAug, 2019

视频中高效姿态估计的动态核蒸馏

Dynamic Kernel Distillation for Efficient Pose Estimation in Videos

Xuecheng Nie, Yuncheng Li, Linjie Luo, Ning Zhang, Jiashi Feng

TL;DR提出了一种基于 DKD 模型的人体姿势估计方法，通过利用时间线索进行姿势核的在线蒸馏和通过简单的卷积计算实现当前帧和姿势核之间的匹配，从而实现对小网络姿态估计的显著提升。

Abstract

Existing video-based human pose estimation methods extensively apply large networks onto every frame in the video to localize body joints, which suffer high computational cost and hardly meet the low-latency requirement in realistic applications. To address this issue, we propose a nov

human pose estimation dkd model temporal cues distillation small network

发现论文，激发创造

在线知识蒸馏用于高效姿态估计

本文提出了一种新型的在线知识蒸馏方法 OKDHP，通过多分支网络和特征聚合单元以及像素级 Kullback-Leibler 散度来保证人体姿态估计的效率和准确性。实验结果表明，该方法在 MPII 和 COCO 数据集上表现良好。

Aug, 2021

TKD: 活动感知的时间知识蒸馏

我们提出了一种名为 TKD 的新框架，利用深度神经网络基于的模型所选择的视频帧（瞬间的感知）来蒸馏轻量级模型中的时间知识，通过进行两个新的步骤：1）基于 LSTM 的关键帧选择方法；2）新的教师束缚损失设计。使用不同的目标检测方法，在多个数据集上进行了全面的经验评估，包括 Youtube-Objects 和 Hollywood 场景数据集。我们的结果显示，与其他现代对象识别方法相比，我们在动态场景的帧上的目标检测准确度 - 速度平衡方面有着一致的提高。

Mar, 2019

快速人体姿势估计

本研究提出一种新的姿势模型学习策略，即快速姿势蒸馏（Fast Pose Distillation，FPD），旨在提高人体姿势估计模型的效率和可扩展性，并通过将强教师网络的姿势结构知识有效地转移给轻型姿势神经网络体系结构来实现，并在两个标准基准数据集 MPII 和 Leeds Sports Pose 中广泛评估，证明了 FPD 方法在模型节约成本方面优于广泛的最新姿势估计方法。

Nov, 2018

跨领域知识蒸馏在低分辨率人体姿势估计中的应用

通过知识蒸馏实现不同分辨率模型的性能提升，包括构建一个跨领域知识蒸馏框架，以及使用尺度自适应的投影仪集合模块来空间对齐输入分辨率不同的模型的特征图，进一步通过交叉类别对齐模块和从易到难的训练策略提高蒸馏性能。在 MPII 和 COCO 两个常见基准数据集上进行了大量实验证明了我们方法的有效性和效率。

May, 2024

PoseNet3D: 通过知识蒸馏学习具有时间一致性的三维人体姿势

提出使用神经网络框架 PoseNet3D 将二维关节作为输入，输出三维骨架和 SMPL 体模型参数，通过在学生 - 教师框架下的学习方法，无需使用任何 3D 数据进行训练，结果表明与之前的无监督方法相比，该方法将 3D 关节预测误差降低了 18％。

Mar, 2020

基于 3D 增强的对比知识蒸馏，用于基于图像的物体位姿估计

该研究论文提出了一种基于图像的物体姿态估计方法，利用多模态方法学习的 3D 知识通过对比知识蒸馏框架有效地转移给单模态模型，使其在没有 3D 信息的情况下提升物体姿态估计准确率，实验证明了该方法的有效性。

Jun, 2022

可变形核网络用于联合图像滤波

该论文提出了 DKN 卷积神经网络架构及其高效实现，使用稀疏且空间可变的滤波核进行图像增强和降噪，并在深度图上采样，显著优于现有技术。

Oct, 2019

少样本、细粒度运动动作识别视频姿态蒸馏

研究了利用视频行为识别任务中的人体姿态，介绍了 Video Pose Distillation (VPD) 弱监督技术来学习新视频领域的特征。其在不需要额外的人体姿态注释的情况下，在四个真实世界的体育视频数据集上提高了人体动作识别、检索和检测任务的性能。

Sep, 2021

DL-KDD: 暗光条件下行动识别的双光知识蒸馏

我们提出了一种新颖的师生视频分类框架 DL-KDD，它能够在不引入额外计算成本的情况下，从原始和增强视频中学习，通过知识蒸馏策略训练师傅模型和学生模型，使学生模型在推理过程中仅使用原始输入视频来预测动作，实验证实了这种蒸馏策略在暗光环境下人体动作识别中的有效性。

Jun, 2024

基于两阶段蒸馏的有效全身姿势估计

本研究提出了一种名为 DWPose 的两阶段姿势蒸馏方法，通过权重衰减策略和学生模型自身的蒸馏来提高全身姿势估计的有效性和效率，实验结果表明其在 COCO-WholeBody 数据集上取得了新的最佳性能，将整体 AP 从 64.8% 提升到 66.5%，甚至超过了 RTMPose-x 教师模型的 65.3% AP。

Jul, 2023