本文提出了一种新颖的动作序列生成方法MT-VAE,它可以利用动作序列之间的转换关系,学习运动方式的特征嵌入和运动方式之间的特征变换,从而生成多样性且逼真的面部和全身运动,并展示了与类比运动传递和视频合成相关的应用。
Aug, 2018
研究逆向行动识别问题,以给定的预设行动类型为条件,通过采用Lie Algebra理论和时序变分自编码器(VAE)来生成3D的逼真的人体运动序列,并保持多样性,实验评估证明了方法的有效性。
Jul, 2020
本研究提出一种名为 MEVA 的基于自动编码器的运动压缩技术,将人类运动分解为平稳运动表示和通过运动细化学习的残差表示,从而捕捉人类运动的粗略整体动作和个人特定细节。实验结果表明,该方法产生了平稳和准确的 3D 人体姿态和运动估计。
Aug, 2020
该篇论文介绍了如何使用基于数据驱动的生成模型,结合深度强化学习算法来实现基于多段运动捕捉数据的真实人体动作生成,并分析了 Motion VAEs 的局限性。
Mar, 2021
本文介绍了一种运用VAE和Transformer-Based架构实现人体运动序列的有条件生成,以及改进行为识别和降噪等两种应用。
Apr, 2021
本文中提出了一种统一的深度生成网络,用于多样化和可控的人体运动预测,该网络基于正则化流姿势先验和关节角损失函数,能够有效地提高模型的准确性和样本多样性。
Aug, 2021
本研究提出了一种基于变分隐式神经表示的行动条件人体动作生成方法,可通过变分形式生成变长人体动作序列,使用Transformer解码器的方法在生成真实且多样的动作序列方面胜过了先前的方法,甚至优于最先进的基于Transformer自编码器方法。
Mar, 2022
通过 Recurrent Transformers 和条件变分自编码器的结合,我们提出了一种新的迭代式方法,能够高效地生成具有任意动作序列的人类运动序列。该方法在 PROX 和 Charades 数据集上得到了验证,表明它在 FID 得分和语义一致性指标方面显著优于现有的技术方法。
Jun, 2022
Motion-DVAE是一种用于捕捉人类动作的短期依赖项的动作先验,与Motion-DVAE配套使用的是一种无监督学习去噪方法来进行实时三维人体姿势估计。
Jun, 2023
该论文介绍了通过视频和2D关键点之间的跨模态潜在特征空间对三维人体运动和2D输入之间进行运动先验对齐的Video-to-Motion Generator (VTM),该方法通过将运动数据分别建模为上半身和下半身,以及使用尺度不变的虚拟骨架与运动数据对齐,展示了在重建单目视频中的三维人体运动方面具有领先水平的表现,尤其是在未见过的视角和野外视频中的泛化能力。
Apr, 2024