Aug, 2023
长尾基于骨架的动作识别的平衡表示学习
Balanced Representation Learning for Long-tailed Skeleton-based Action Recognition
Hongda Liu, Yunlong Wang, Min Ren, Junxing Hu, Zhengquan Luo...
TL;DR骨架动作识别在最近取得了显著进展，然而，在现实场景中存在数据不平衡是一个巨大的挑战，当前动作识别算法的性能在训练数据中存在严重类别不平衡时急剧下降，如何从不平衡的动作数据中学习无偏的表示是解决长尾动作识别问题的关键，本文提出了一种新颖的平衡表示学习方法，来解决动作识别中的长尾问题，首先，提出了一种空间 - 时间动作探索策略，以重新平衡的方式扩展样本空间，生成更有价值的样本，其次，设计了一种分离的动作感知学习计划，以进一步减轻表示空间中的偏差，该计划从训练中分离了尾类的表示学习，并提出了一种动作感知损失以施加更有效的约束，此外，提出了一种跳过模态表示，以提供互补的结构信息，在四个骨架数据集（NTU RGB+D 60，NTU RGB+D 120，NW-UCLA 和 Kinetics）上验证了所提出的方法，它不仅相对于最先进的方法取得了一致的大幅改进，还通过大量实验证明了其卓越的泛化能力。我们的代码可以在此 https URL 获取。