从在线舞蹈视频中学习
本研究基于 Kinetics 数据集重新评估最先进的体系结构,并引入一种新的双流膨胀 3D ConvNet(I3D),该 ConvNet 可以在视频中学习无缝的时空特征提取器,利用成功的 ImageNet 架构设计及其参数,经过在 Kinetics 上的预训练后,I3D 模型在动作分类方面表现明显提高。
May, 2017
本研究通过先生成关键姿势再进行中间参数运动曲线预测的两阶段过程,提出了一种新的方法DanceFormer,通过两个级联的运动学增强变换器指导网络(称为DanTrans)处理每个阶段,在现有数据集的训练下可以生成超过以前的研究成果的流畅、表现性和与音乐匹配的3D舞蹈,并且可以和工业动画软件无缝对接,可以方便地适用于各种项目。
Mar, 2021
提出了一种分层舞蹈视频识别框架(HDVR),它通过估计2D姿势序列,跟踪舞者,并同时估计相应的3D姿势和3D到2D成像参数来提取舞蹈的层次结构。我们在多人跟踪和通过LSTM网络识别舞蹈类型方面优于现有的3D姿势估计方法。
Sep, 2021
本研究使用多种视觉和场景信息,提出了一个新的多模态框架用于全面预测舞蹈挑战的传播趋势。使用金字塔骨骼图卷积网络(PSGCN)模拟身体动作,并引入关系时间卷积网络(RTCN)来利用非局部时间关系进行外观动态建模。提出了一种关注融合方法,最终从不同模态自适应聚合预测。对大规模病毒舞蹈视频数据集进行了实验验证,证明了我们模型的有效性。另外,展示了该模型的多维度推荐和行动反馈等应用。
Nov, 2021
该研究介绍了一个新的数据集,BRACE,它由复杂的人体姿势组成,用于挑战现有的舞蹈动作综合模型的局限性。该数据集可促进舞蹈运动综合的进步。
Jul, 2022
通过提出多模态三维数据集DCM和基于Transformer的扩散模型DanceCamera3D,综合定量和定性证据显示了DanceCamera3D模型的有效性,以解决舞蹈摄像机运动与音乐和舞蹈的综合问题。
Mar, 2024
提出将舞蹈视频自动分割为每个动作的方法,并通过组合视觉和音频特征使用时序卷积网络来估计分割点,研究表明所提出的方法能够高精度地估计分割点,并开发了一个应用来帮助舞者练习编舞。
May, 2024