CVPRJun, 2022

递归变压器变分自编码器用于多动作运动合成

PDF
TL;DR通过 Recurrent Transformers 和条件变分自编码器的结合，我们提出了一种新的迭代式方法，能够高效地生成具有任意动作序列的人类运动序列。该方法在 PROX 和 Charades 数据集上得到了验证，表明它在 FID 得分和语义一致性指标方面显著优于现有的技术方法。
human motionrecurrent transformersvariational autoencodersmulti-action sequencesprox datasets
发现论文，激发创造
  • 基于 Transformer VAE 的带动作条件的 3D 人类动作合成

    本文介绍了一种运用 VAE 和 Transformer-Based 架构实现人体运动序列的有条件生成，以及改进行为识别和降噪等两种应用。

    Apr, 2021

  • 基于弱监督的动作转移学习用于随机人体动作预测

    本文介绍了动作驱动的随机人体运动预测任务，提出了一种有效的多步预测模型和训练策略，结合深度学习模型和不同的时间编码模型以取得更好预测效果。

    May, 2022

  • MT-VAE: 学习运动变换以生成多模式人体动力学

    本文提出了一种新颖的动作序列生成方法 MT-VAE，它可以利用动作序列之间的转换关系，学习运动方式的特征嵌入和运动方式之间的特征变换，从而生成多样性且逼真的面部和全身运动，并展示了与类比运动传递和视频合成相关的应用。

    Aug, 2018

  • 生成层次时间变换器用于手势动作识别和运动预测

    提出一种新颖的框架，同时处理手势识别和 3D 未来手势预测，借助生成式 Transformer VAE 架构来联合捕捉两个方面，从而实现通过利用时间戳间观察到的短期手势和长期动作一致性，促进现实动作预测，确保手势姿势和动作的语义依赖和不同时间粒度的忠实表示。

    Nov, 2023

  • 变长人体动作生成的隐式神经表示

    本研究提出了一种基于变分隐式神经表示的行动条件人体动作生成方法，可通过变分形式生成变长人体动作序列，使用 Transformer 解码器的方法在生成真实且多样的动作序列方面胜过了先前的方法，甚至优于最先进的基于 Transformer 自编码器方法。

    Mar, 2022

  • 生物启发式的人类运动序列连续学习

    本文提出了一种基于生物学启发的有条件时间变分自编码器（BI-CTVAE）的模型，用于连续学习涉及时间序列的任务，特别是人类运动，最终将其应用于生成运动序列的连续学习中，并在人类运动数据集上进行测试，结果分类准确率为 78％，比不使用重放模型高 63％，仅比离线训练最先进的 GRU 模型低 5.4％。

    Nov, 2022

  • Action2Motion: 条件化生成三维人体动作

    研究逆向行动识别问题，以给定的预设行动类型为条件，通过采用 Lie Algebra 理论和时序变分自编码器（VAE）来生成 3D 的逼真的人体运动序列，并保持多样性，实验评估证明了方法的有效性。

    Jul, 2020

  • TransRAC: 使用 Transformer 编码多尺度时间相关性用于重复行为计数

    为解决现有短视频针对长视频中多样化和实际情况不足的问题，本文提出了一种包含多尺度时间关联的 transformer 编码方法和基于密度图回归的行动周期预测方法，并提供了更细致的注释来解决重复行动计数过程中的不一致现象。该方法不仅在所有数据集上均优于现有方法，而且在未经微调的未见过数据集上也表现更好。

    Apr, 2022

  • 自动调节的循环网络用于复杂人体运动合成的扩展

    使用自回归噪声的自条件递归神经网络 (acRNN) 的实时合成高度复杂的人体动作的方法。此方法为首次可以合成超过 18,000 个连续帧 (300 秒) 不同风格的人体运动。

    Jul, 2017

  • 通过程序生成视频以训练深度动作识别网络

    通过建立一个可解释的参数生成数码，我们使用程序生成和其他现代游戏引擎的计算机图形技术生成了一组逼真、多样化和符合物理规律的人类动作视频，含 39,982 个视频。利用 UCF101 和 HMDB51 数据集的实验表明，我们的方法可以通过结合使用大量合成视频和小型真实数据集，大幅提高识别性能，明显优于现有的无监督生成模型的微调。

    Dec, 2016