May, 2023

时间对齐 2D 骨架序列学习

TL;DR本论文提出了一种自监督学习的视频对齐框架,利用 2D 骨架热图作为输入,通过自身在空间和时间域内的自注意力机制来提取有效的时空和上下文特征,同时通过基于 2D 骨架的热图增强技术进行自监督学习,取得了比 CASA 更高的准确度和对缺失和噪声关键点更好的稳健性,在不同的细粒度人体活动理解任务中表现优于先前的方法,如阶段分类、阶段进展、视频对齐和细粒度帧检索。