AnyPose:基于神经常微分方程的任意时间三维人体姿势预测
研究使用单个RGB图像预测人体动态,提出了3D Pose Forecasting Network(3D-PFNet),结合2D预测和3D空间,在多样化的数据源下进行了三步训练,展示了在2D姿势预测和3D姿势恢复上有竞争力的性能结果。
Apr, 2017
本文提出了一种新的不考虑活动标签的短期和长期人体姿势预测方法,使用一种新的循环神经网络模型——三角棱镜循环神经网络,该模型通过编码不同时间尺度的时间依赖性来捕获潜在的分层结构,经在Human 3.6M和Penn Action数据集上进行了广泛的实验,证明了本方法在数量和质量上均优于基线和最先进的方法。
Oct, 2018
本文在三个主要方面提出了改进:(1)使用生成对抗网络(GAN)预测3D人体动作,(2)设计架构来学习身体姿势和全局动作的联合分布,(3)提出了基于频率分布的两种替代指标来反映长期人类运动的实际分布,结果表明本文方法显著改善了现有技术,同时能够处理受到遮挡、噪声和丢失帧等影响的情况。
Dec, 2018
本文提出了一种新的框架来处理机器人导航中预测人类动态的问题,该框架将人类运动(或轨迹)和骨骼姿态预测这两个任务统一起来,并考虑到了场景和社交上下文等多种因素,最终在两个社交数据集上表现优异。
Jul, 2020
本文提出了一种用 probabilistic approach 来预测 characteristic poses 的方法,解决了原有 human motion prediction 只能按时间预测的问题,同时构建了一个手动注释的数据集来评估模型,结果表明此方法的平均表现优于现有方法 26%。
Nov, 2020
本文提出了MotionMixer,这是一种高效的三维人体姿势预测模型,完全基于多层感知器。通过顺序混合两种模态,MotionMixer学习了空间-时间三维身体姿势之间的依赖关系。通过使用squeeze-and-excitation (SE)块来校准姿势序列中每个时间步的影响,我们在Human3.6M、AMASS和3DPW数据集上使用标准评估协议评估了我们的方法,并展示了最先进的性能。
Jul, 2022
本研究提出了一种轻量级的人体运动预测网络“siMLPe”,结合了多层感知器、离散余弦变换、关节残差位移预测和速度辅助损失优化等简单方法,且具有仅有0.14万个参数和超过三个基准数据集的卓越表现,成为该领域的强基准。
Jul, 2022
本文主要研究多人互动姿势的预测任务,其采用了基于频率输入表示、时空可分离和全可学习交互邻接框架,并且对2个人进行预测时,可以显著提高性能。与此同时,该文还提出了针对编码器的新的空间交互参数初始化方法,从而提高了性能和稳定性。
Apr, 2023
通过Encoding-Alignment-Interaction(EAI)框架提出了一种全身人体姿势预测任务,能够协同预测未来的身体和手部活动,从而实现对三维全身人体动作的表达性和跨领域的预测。
Dec, 2023
提出了一个基于相互作用感知、轨迹条件化的长期多智能体人体姿势预测模型,通过粗粒度到细粒度的预测方法,首先预测出多模态全局轨迹,然后根据每种模态对应的局部姿势进行条件化预测,有效处理人体运动的多模态性以及长期多智能体之间的复杂相互作用,提高在复杂环境中的性能,并通过构建新的真实世界图像和2D注释数据集来解决缺乏长期多智能体数据集的问题,从而对所提出的模型进行全面评估。
Apr, 2024