多镜头下的人体网格恢复
本文提出了一种简单而高效的自学习框架,以适应消费视频数据的人体三维网格恢复系统,并在此基础上进行 13K 帧的评估以及对任务的关键点注释,结果显示我们的方法在测试视频上具有较高的准确性和人为判断水平。
Aug, 2020
该研究论文提出了一种基于深度学习和递归神经网络的方法,采用含有 3D 注释的合成单眼视频来恢复完整的 3D 人体姿势,并在定量和定性分析中证明了该方法的有效性。
Jun, 2019
通过观察人类运动的视觉序列,我们可以轻松猜测人在过去和未来的 3D 运动。我们提出了一个可以学习人类 3D 动力学表示的框架,通过简单而有效的图像特征时间编码。在测试过程中,学习到的时空表示能够预测具有平稳性的 3D 网格。我们的模型可以从单个图像中恢复当前的 3D 网格以及它未来和过去的 3D 运动,同时也可以通过半监督学习从带有 2D 姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练,通过已有的 2D 姿态检测器得到伪基础真值 2D 姿态,证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。
Dec, 2018
通过使用中间的二维表示,可学习的校准和三角测量来适应更多样化的相机设置,逐步聚合多视图信息在规范化三维空间中消除二维表示中的歧义,通过广泛的基准测试,特别是针对野外场景的未见过的情况下,我们展示了所提出的解决方案的优越性。
Dec, 2022
提出了一种骨架解耦的 3D 人体网格恢复方法,该方法利用自我注意力机制实现多级空间和时间粒度的分离建模,并通过无监督对抗训练策略以及临时混洗和顺序恢复,成功提高了人体网格恢复的精度。
Aug, 2019
本篇文章调查了单目三维人体网格恢复的相关任务,包括身体模型,恢复框架 / 训练目标,数据集评估指标和评测结果,并从优势和劣势方面深入分析了两种范式:优化和回归。作者希望激励研究人员的兴趣,促进该领域的研究。
Mar, 2022
该研究通过基于束调整的算法从单眼视频中恢复准确的 3D 人体姿势和网格,通过在整个序列上重建人体来提供额外的约束并解决歧义问题。同时,该研究提出了一个包含超过 3 百万帧来自 Kinetics 的 YouTube 视频数据集,能够提高 3D 运动估计的准确性,该算法具有实际意义。
May, 2019
本文介绍了一种通过 4DHumans 方法从单眼视频中追踪和重建人体动作的技术,通过 transformerized 版本的 HMR 2.0 网络实现人体重建,使用 3D 重建作为输入在 3D 跟踪系统中进行多人追踪并通过深度学习算法实现姿态和动作的识别。
May, 2023
本篇文章提出了一种能够从单目录像中实现三维全局人体网格恢复的方法,该方法具有鲁棒性,即使在面临严重和长期的遮挡时,也可以跟踪人体;同时,该方法可以在动态相机下,构建出一致的全局人体网格,这一方法也被称为 “深度生成运动填充器”。
Dec, 2021
提出一种结合骨架模型、将人类网格划分为多个局部部分并使用单独的循环模型建模每个局部部分动态的新方法,进行视频网格恢复,最终实现了在多个基准数据集上的最先进结果。
Jul, 2021