学习用于人体网格恢复的本地循环模型
通过观察人类运动的视觉序列,我们可以轻松猜测人在过去和未来的3D运动。我们提出了一个可以学习人类3D动力学表示的框架,通过简单而有效的图像特征时间编码。在测试过程中,学习到的时空表示能够预测具有平稳性的3D网格。我们的模型可以从单个图像中恢复当前的3D网格以及它未来和过去的3D运动,同时也可以通过半监督学习从带有2D姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练,通过已有的2D姿态检测器得到伪基础真值2D姿态,证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。
Dec, 2018
本文解决从单张图像中估计3D人体姿态和形状的问题,提出在保留SMPL模板网格拓扑的同时,使用Graph-CNN直接回归网格顶点的三维位置,与基于模型参数回归的可比较基线相比,我们的方法具有更好的效果。
May, 2019
该研究论文提出了一种基于深度学习和递归神经网络的方法,采用含有3D注释的合成单眼视频来恢复完整的3D人体姿势,并在定量和定性分析中证明了该方法的有效性。
Jun, 2019
提出了一种基于已知层次结构的人体参数化模型回归新技术,旨在更加灵活应用于当前标准的三维人体网格恢复框架,并通过实验数据证明其性能优于现有方法,能在数据损坏下推断关节。
Mar, 2020
MotioNet是一种用于从单眼视频中重建 3D 人体骨骼运动的深度神经网络,通过嵌入运动先验信息的深度神经网络将 2D 关节位置序列分解为对称骨骼和与全局根位置和足接触标签相关联的 3D 关节旋转序列,并在 3D 位置上应用正向运动学,使用敌对损失确保恢复的旋转速度处于自然关节旋转曲面上的关键优势使其能够直接从训练数据中学习到自然的关节旋转。
Jun, 2020
本篇文章调查了单目三维人体网格恢复的相关任务,包括身体模型,恢复框架/训练目标,数据集评估指标和评测结果,并从优势和劣势方面深入分析了两种范式:优化和回归。作者希望激励研究人员的兴趣,促进该领域的研究。
Mar, 2022
本文提出了一种名为 SUPR 的新型人体建模方案,联合训练了全身模型和特定部位模型,其中包括一种能够捕捉脚部运动特征的新型运动学树,并且利用非线性变形函数预测脚部在接触地面时的变形。
Oct, 2022
提出了一种从单眼视频中恢复时间一致的3D人体姿势、形状和动作的方法,通过使用具有身体感知特征表示和独立的逐帧姿势和相机初始化,结合自相似性和自注意力等技术进行时空特征聚合,该方法提供了增强的时空上下文,可在各种复杂场景下得到更准确的姿势估计和形状重建。
Nov, 2023
该论文介绍了通过视频和2D关键点之间的跨模态潜在特征空间对三维人体运动和2D输入之间进行运动先验对齐的Video-to-Motion Generator (VTM),该方法通过将运动数据分别建模为上半身和下半身,以及使用尺度不变的虚拟骨架与运动数据对齐,展示了在重建单目视频中的三维人体运动方面具有领先水平的表现,尤其是在未见过的视角和野外视频中的泛化能力。
Apr, 2024
本研究解决了低分辨率图像特征对人类姿态和形状同时估计的局限性,进而影响3D人类网格恢复的准确性。通过引入基于骨骼的解耦表示,该论文提出了一种新颖的半解析回归器ARTS,有效利用骨骼信息来提升网格参数估计的精度。实验结果显示,该方法在多个基准测试中超越了现有的最先进视频方法,具有显著的准确度和时间一致性。
Oct, 2024