Jul, 2020

Action2Motion: 条件化生成三维人体动作

HTML
PDF
TL;DR研究逆向行动识别问题，以给定的预设行动类型为条件，通过采用Lie Algebra理论和时序变分自编码器（VAE）来生成3D的逼真的人体运动序列，并保持多样性，实验评估证明了方法的有效性。
发现论文，激发创造
  • MT-VAE: 学习运动变换以生成多模式人体动力学

    本文提出了一种新颖的动作序列生成方法MT-VAE，它可以利用动作序列之间的转换关系，学习运动方式的特征嵌入和运动方式之间的特征变换，从而生成多样性且逼真的面部和全身运动，并展示了与类比运动传递和视频合成相关的应用。

    Aug, 2018

  • 单目视频中的接触与人类动力学

    本文介绍了一种基于物理模型的方法，用于从视频中推断3D人体运动，该方法利用初始的2D和3D姿态估计作为输入，并通过物理轨迹优化得出一个符合物理规律的运动。实验结果显示，相较于纯运动学方法，该方法能够显著地提高动作的真实性和准确性。

    Jul, 2020

  • 基于Transformer VAE的带动作条件的3D人类动作合成

    本文介绍了一种运用VAE和Transformer-Based架构实现人体运动序列的有条件生成，以及改进行为识别和降噪等两种应用。

    Apr, 2021

  • 变长人体动作生成的隐式神经表示

    本研究提出了一种基于变分隐式神经表示的行动条件人体动作生成方法，可通过变分形式生成变长人体动作序列，使用Transformer解码器的方法在生成真实且多样的动作序列方面胜过了先前的方法，甚至优于最先进的基于Transformer自编码器方法。

    Mar, 2022

  • 递归变压器变分自编码器用于多动作运动合成

    通过 Recurrent Transformers 和条件变分自编码器的结合，我们提出了一种新的迭代式方法，能够高效地生成具有任意动作序列的人类运动序列。该方法在 PROX 和 Charades 数据集上得到了验证，表明它在 FID 得分和语义一致性指标方面显著优于现有的技术方法。

    Jun, 2022

  • 基于动作条件的即时运动生成

    提出了一种新的框架ODMO，用于仅以动作类型为条件生成逼真且多样化的长期3D人体运动序列，并具有自定义功能。该编码器使用对比学习来创建运动序列的分层嵌入，解码器使用分层解码策略，使得整个运动序列的木乃伊能够被重构，从而实现了有效的运动轨迹控制，从而实现了首个模式发现、插值和轨迹自定义等自定义功能，该代码在Github页面上发布。

    Jul, 2022

  • PoseGPT：基于量化的三维人体动作生成和预测

    提出了一种基于PoseGPT的自回归变换器的方法，该方法可以生成人体运动序列，利用离散的潜在空间使GPT-like模型集中于长程信号预测，获得了在几个数据集上实现最先进的结果。

    Oct, 2022

  • 多人动作标签的长期三维人体运动生成

    该论文介绍了一个名为MultiAct的框架，用于从多个动作标签中生成长期的3D人体运动，该框架结合了动作和运动条件，可以控制生成的真实的长期运动。

    Dec, 2022

  • 通过跨模态流形对齐从单眼视频学习人类动作

    该论文介绍了通过视频和2D关键点之间的跨模态潜在特征空间对三维人体运动和2D输入之间进行运动先验对齐的Video-to-Motion Generator (VTM)，该方法通过将运动数据分别建模为上半身和下半身，以及使用尺度不变的虚拟骨架与运动数据对齐，展示了在重建单目视频中的三维人体运动方面具有领先水平的表现，尤其是在未见过的视角和野外视频中的泛化能力。

    Apr, 2024

  • 全身动作生成2D空间中的可扩展性

    通过关注二维空间，本研究引入一种新的一般人类动作生成方法，使用名为Holistic-Motion2D的大规模二维整体动作数据库和名为Tender的创新方法进行生成，展示了二维动作数据在生成多样、真实的人类动作方面的有效性及其对各种下游应用的潜力。

    Jun, 2024