我们不仅仅是我们的关节:预测 3D 身体如何运动
该论文提出了一个新的结构化预测层的方法,该层可通过一个连接类似于人体运动的动力链的一组小型神经网络的层次结构和损失函数的关节分解来明确地建模关节依赖性,并可以增强运动预测的性能和预测质量,而不受基础网络、关节角度表示和预测时间长度的限制,并在 AMASS 数据集上训练和测试后取得了良好的效果。
Oct, 2019
本文通过提出一种新的方法,在人体姿势估计中实现了更好的 3D 姿势估计精度,通过使用单目图像序列并利用深度全卷积网络预测 2D 关节位置的不确定性图,并使用期望最大化算法进行 3D 姿势估计。
Nov, 2015
未来人体姿势预测是机器智能的基本应用,本研究引入了一种新的多模态感知驱动的运动预测方法,通过结合外部 3D 场景和内部人类凝视信息来实现高保真度的生成,同时考虑人的意图和场景的语义连贯性,该方法在 3D 人体姿势和轨迹预测上取得了最先进的性能。
May, 2024
本文提出了一种高效利用视频序列中连续帧运动信息来恢复人的三维姿态的方法,并通过回归边界框的时空体到中心帧的 3D 姿势来改进现有方法。同时,为了最大限度地发挥这种方法的潜力,本文阐明必须补偿连续帧中的运动,以使被测量者保持中心,从而能够有效地消除歧义并在 Human3.6m、HumanEva 和 KTH Multiview Football 3D 人体姿态估计基准测试中取得显著改进。
Nov, 2015
本文提出了 MotionMixer,这是一种高效的三维人体姿势预测模型,完全基于多层感知器。通过顺序混合两种模态,MotionMixer 学习了空间 - 时间三维身体姿势之间的依赖关系。通过使用 squeeze-and-excitation (SE) 块来校准姿势序列中每个时间步的影响,我们在 Human3.6M、AMASS 和 3DPW 数据集上使用标准评估协议评估了我们的方法,并展示了最先进的性能。
Jul, 2022
通过引入辅助任务的模型学习框架,本文提出了一种新的方向,即通过捕捉时空依赖关系以实现坐标恢复,以及通过辅助任务促使辅助自适应变压器更好地学习特征,并通过实验证明了该方法的优越性。
Aug, 2023
通过观察人类运动的视觉序列,我们可以轻松猜测人在过去和未来的 3D 运动。我们提出了一个可以学习人类 3D 动力学表示的框架,通过简单而有效的图像特征时间编码。在测试过程中,学习到的时空表示能够预测具有平稳性的 3D 网格。我们的模型可以从单个图像中恢复当前的 3D 网格以及它未来和过去的 3D 运动,同时也可以通过半监督学习从带有 2D 姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练,通过已有的 2D 姿态检测器得到伪基础真值 2D 姿态,证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。
Dec, 2018
本文提出一种新颖的基于 Transformer 的架构,用于生成 3D 人体运动的模型。该模型能够学习高维度骨骼关节的嵌入,通过解耦的时间和空间自注意机制使得生成的姿态在时间上是连贯的。实验结果表明该模型能够准确地生成短期预测并在长期时间跨度内生成合理的运动序列。
Apr, 2020
本文提出了一种用 probabilistic approach 来预测 characteristic poses 的方法,解决了原有 human motion prediction 只能按时间预测的问题,同时构建了一个手动注释的数据集来评估模型,结果表明此方法的平均表现优于现有方法 26%。
Nov, 2020