- FreeMotion:多模态大型语言模型的无动捕人体动作合成
通过利用多语言多模态学习模型(MLLMs)的无动作数据,我们首次探索了基于自然语言指令的开放式人类动作合成,实现了通用的人类动作合成,为未来的研究铺平了道路。
- 用于临床应用的基于骨架的运动编码模型的基准测试:估计步行序列中的帕金森病严重程度
本研究通过对大规模人体动作数据集上进行训练的通用人体动作编码器在分析帕金森病患者步态模式方面的应用进行了调查。结果显示,这些模型在分析帕金森步态等病理性动作方面的有效性尚未得到充分验证。我们提出了一个比较框架,并通过评估六个预训练的最先进的 - 奥地利手语动作捕捉中的动词和形容词类型分析
使用运动捕捉数据对奥地利手语(OGS)的动词和形容词产生的运动参数进行了定量表征,结果发现动词的种类(有终点和无终点)通过峰值速度和持续时间的差异来区分,而在形容词中的强调程度则通过持续时间的长短来表达。
- 人形机器人的表达性全身控制
我们提出了一种能够在真实世界中让机器人产生丰富、多样和表现力强的动作的方法,通过在一个人型机器人上学习一个整体控制策略,尽可能地模仿人类的真实动作。通过在强化学习框架中利用图形社区的大规模人体动作捕捉数据来训练这种策略,但是直接使用动作捕捉 - 从多个视角重建近距离人类互动
该研究论文讨论了通过多个校准相机捕捉的近距离互动中多个个体的姿势重建的挑战性任务,并提出了一种整合了学习为基础的姿势估计组件和相应的训练和推断策略的系统。该系统利用多视图 2D 关键点热图作为输入,使用 3D 条件体积网络重建每个个体的姿势 - 动态惯性姿势估计器 (DynaIP): 利用稀疏惯性传感器进行基于部分的运动动力学学习以提升人体姿势估计
该研究介绍了一种使用稀疏惯性传感器的新型人体姿势估计方法,该方法通过利用来自不同骨骼格式的多样的真实惯性运动捕捉数据,改进了以往依赖合成数据方法的缺点,包括两个创新组件:基于伪速度回归模型的惯性传感器动态运动捕捉和将身体和传感器数据分为三个 - PointOdyssey:一个大规模合成数据集用于长期点跟踪
我们介绍了 PointOdyssey,一个用于训练和评估长期细粒度跟踪算法的大规模合成数据集和数据生成框架。我们的目标是通过强调具有自然运动的长视频来推动技术的发展。
- 从人和动物行为学习可重用的机器人运动技能:模仿与再利用
本文研究使用人类和动物运动的先验知识来学习现实机器人的可重复使用的运动技能,并且实现了能够在实际机器人上部署的任务导向控制器。
- MoVi:一个大型通用运动与视频数据集
本文介绍了一组新的人体运动和视频数据集 MoVi,其中包括 60 名女性和 30 名男性表演 20 种预定义的日常动作和运动,以及一种自选运动。该数据集包含 9 小时的运动捕捉数据、17 小时的 4 个不同视角的视频数据和 6.6 小时的 - ICCV动态三维重建的离散拉普拉斯算子估计
本论文提出了一种通用的范式来处理来自多个独立和不受控制的图像来源的 3D 动态重建问题,该问题具有任意时间采样密度和分布,通过图表论的方法建立空间 - 时间关系,通过三重凸优化框架来进行重建,在运动捕捉数据和多视图图像数据集上进行实验,并探 - ICCV实时 PD 控制下的自我姿势估计和预测
本文提出基于比例微分 (PD) 控制的强化学习策略,从第一人称视角视频中学习估计和预测 3D 人体姿势,同时提出了基于视频条件的递归控制技术和基于价值函数的失效保护机制来提高运行效率,并在控制数据和实际场景中得到了优异的实验结果。
- AAAI基于本地结构表示和时间依赖性学习的人体运动预测
本文提出了一种基于局部身体结构表征的人体运动长期和短期预测方法 (SkelNet 和 Skel-TNet),实验证明这两种方法对于多种人体运动任务(Human3.6M 数据集和 CMU 运动捕捉数据集)有相当好的预测效果。
- 清理动作捕捉数据的深度循环框架
本文提出了一种利用时域相关性和关节相关性清理带噪声和不完整的运动捕捉数据的深度双向循环框架,并通过第二个双向网络对带有噪声和空缺的信号进行预处理,从周围上下文中合成缺失的帧。该方法不依赖于噪声分布的知识,处理多种类型的噪声和长空缺,并在各种 - MM基于运动捕捉数据的步态识别
本文提出了一种基于机器学习的统计方法,利用线性判别分析与最大边缘准则从原始运动捕捉数据中提取强健步态特征,通过对 CMU MoCap 数据库的实验表明了该方法的优越性,并说明了其具有高度的移植性,对于不需要特定组特征的人物识别非常方便,此研 - CVPR单图像三维人体姿态估计的双源方法
本研究提出一种利用双重数据源,结合深度神经网络和运动捕捉数据,实现从单张图片中估计三维人体姿态的方法,并对该方法进行了全面评估。
- CVPR深度表示学习用于人类动作预测和分类
本研究提出一个基于深度学习的人体动作捕捉数据的通用模型,学习自大量的捕捉数据中,并成功应用于人体动作特征提取、分类和预测,优于现有最新技术,具有普遍性。
- 深度学习生成编舞
通过深度学习和基于运动捕捉数据的神经网络,我们实现了一套名为 Chor-rnn 的系统,它可以模仿独立编舞者的舞蹈风格,生成新的独舞编排,具有更高的组合连贯性,可用于人机协作编舞或成为编舞灵感的创意催化剂。
- 使用深度神经网络对动作捕捉序列进行分类和可视化
本研究提出了一种基于深度神经网络的姿态识别系统,使用相对关节位置、时间差和规范化运动轨迹等简单但有效的特征对骨架数据进行特征提取,并采用深度自编码器对特征进行可视化,测试结果表明,该深度神经网络能够捕获到比主成分分析更具有区分性的信息,同时