通过引入 “Let's Dance” 数据集,作者介绍了如何在视频领域应用深度神经网络方法,并探讨了这些方法在学习如何处理动态数据时的价值和性能,特别是在区分需要使用运动信息分类的动态运动大类方面的困难。
Jan, 2018
通过使用自回归编码解码网络设计了一种音乐驱动舞蹈编排生成系统,该网络利用音乐和对应的舞蹈运动,运用多媒体片段进行训练,能够在只有音乐输入的情况下生成新的舞蹈运动。经过用户研究,结果表明该方法可以生成富有音乐感和自然的新舞蹈动作。
Nov, 2018
本文利用基于图形卷积网络的新方法,通过学习技术从音频信息中自动生成舞蹈,结果显示这种方法在产生自然运动方面优于现有方法。
Nov, 2020
通过音乐作为条件输入,直接从静态图像中生成舞蹈视频的 Dance Any Beat Diffusion 模型引入了图像到视频生成原则,采用了音乐作为图像到视频生成的条件因素。
May, 2024
本研究提出了一种基于弱监督深度循环方法的,使用音频功率谱作为输入的基础舞蹈生成模型,采用卷积层和多层 LSTM 处理音频输入,并利用对比代价函数调节音乐和舞蹈节拍之间的映射,同时从舞蹈节拍生成弱标签进行模型训练,实验结果表明,该模型可以在小数据集上生成基础舞蹈步伐,并且保持与基准舞者类似的 F - 分数。
Jul, 2018
我们介绍了一种基于自相似结构的自动化时间分割人体运动数据的方法,并使用邻域图将运动基元聚类成更大的语义实体,实现了完全无监督的分割和分析运动数据的能力。
Oct, 2015
该论文介绍了一个自动化标注音乐表演视频中手势的框架,使用 3D 卷积神经网络,通过批处理平衡和空间 - 时间手势表示等方法,成功提高了 12% 的手势识别准确率,对跨多个视频的多个手势 / 类别进行了详细的研究,并探讨了使用音频特征的可能性。
May, 2022
本研究使用多种视觉和场景信息,提出了一个新的多模态框架用于全面预测舞蹈挑战的传播趋势。使用金字塔骨骼图卷积网络(PSGCN)模拟身体动作,并引入关系时间卷积网络(RTCN)来利用非局部时间关系进行外观动态建模。提出了一种关注融合方法,最终从不同模态自适应聚合预测。对大规模病毒舞蹈视频数据集进行了实验验证,证明了我们模型的有效性。另外,展示了该模型的多维度推荐和行动反馈等应用。
Nov, 2021
提出了一种分层舞蹈视频识别框架 (HDVR),它通过估计 2D 姿势序列,跟踪舞者,并同时估计相应的 3D 姿势和 3D 到 2D 成像参数来提取舞蹈的层次结构。我们在多人跟踪和通过 LSTM 网络识别舞蹈类型方面优于现有的 3D 姿势估计方法。
Sep, 2021
本文介绍一种简单的方法来实现 “像我这样做” 的运动转移:使用 “姿势” 作为中间表示,从源主体中提取姿势并应用学习的姿势到外观的映射来生成目标主体,并提供一个可靠的合成内容检测的取证工具和一个首个独一无二的开源视频数据集来进行训练和运动转移。
Aug, 2018