从互联网视频中获取动作捕捉
通过观察人类运动的视觉序列,我们可以轻松猜测人在过去和未来的 3D 运动。我们提出了一个可以学习人类 3D 动力学表示的框架,通过简单而有效的图像特征时间编码。在测试过程中,学习到的时空表示能够预测具有平稳性的 3D 网格。我们的模型可以从单个图像中恢复当前的 3D 网格以及它未来和过去的 3D 运动,同时也可以通过半监督学习从带有 2D 姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练,通过已有的 2D 姿态检测器得到伪基础真值 2D 姿态,证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。
Dec, 2018
本文提出了一种通过多视角的训练,使用一致性约束联合监督损失及惩罚项实现替代大量标注的 3D 人体姿态估计方法,并提出了一种联合估计相机姿态及人体姿态的方法,在 3D 人体姿态估计方面取得了良好的表现。
Mar, 2018
通过结合人体运动先验知识和场景特征,提出了一种估计全局场景下人体运动的联合优化框架,该方法在人体和相机运动估计方面相较于现有方法有显著的改进。
Oct, 2023
该文提出了一种新的框架,通过训练一系列递归深度神经网络从 2D 姿势及其时间导数来生成人类形状、结构和外观的中间表示,从而解决了视频中松散的服装动态和细节的生成问题,实现了高保真的人类动作转移。
Dec, 2020
本文介绍了一种仅使用少量 Kinect 传感器进行无标记动作捕捉的高效且廉价方法,通过使用最近的图像分割技术和纯合成数据进行课程学习,实现了对身体各部位的准确本地化并且无需使用显式形状模型。同时,我们介绍了一个包含约 6 百万合成深度帧的新数据集,并超过了 Berkeley MHAD 数据集的最新结果。
May, 2016
本文描述了一种基于无标记人体动作捕获的三维角色动画生成系统,采用视角多样的相机捕捉人体动作信息,并通过多种技术手段计算出骨骼变换状况,从而能够高效准确地实现三维骨骼重建与实时动画生成。
Dec, 2022
本研究提供了首个非标记的方法来在单目视频中实现人类的三维运动捕捉,可以重建关节骨架的运动以及一般场景中中等尺度的非刚性表面形变。通过使用卷积神经网络中的疏 2D 和 3D 人体姿势检测,以及基于低维轨迹子空间解决单目重构问题的模式,我们解决了由大范围关节运动,具有潜在快速运动和相当大的非刚性变形构成的人工能捕捉挑战。此外,我们根据完全自动提取的轮廓线提出了基于表面几何的细化方法,以实现中等规模的非刚性匹配,我们的方法实现了最先进的性能捕捉结果,在准确性,鲁棒性和可处理的场景复杂性方面明显优于先前的单目方法。
Aug, 2017
本研究提出了一种从野外视频中重建全球人类轨迹的方法,该优化方法将相机和人类运动解耦,减少背景像素对推断 3D 人类运动的影响,使用数据驱动的先验信息来恢复全局人类轨迹。
Feb, 2023
该研究通过基于束调整的算法从单眼视频中恢复准确的 3D 人体姿势和网格,通过在整个序列上重建人体来提供额外的约束并解决歧义问题。同时,该研究提出了一个包含超过 3 百万帧来自 Kinetics 的 YouTube 视频数据集,能够提高 3D 运动估计的准确性,该算法具有实际意义。
May, 2019
该研究论文提出了一种基于深度学习和递归神经网络的方法,采用含有 3D 注释的合成单眼视频来恢复完整的 3D 人体姿势,并在定量和定性分析中证明了该方法的有效性。
Jun, 2019