Nov, 2022

生物启发式的人类运动序列连续学习

PDF
TL;DR本文提出了一种基于生物学启发的有条件时间变分自编码器（BI-CTVAE）的模型，用于连续学习涉及时间序列的任务，特别是人类运动，最终将其应用于生成运动序列的连续学习中，并在人类运动数据集上进行测试，结果分类准确率为 78％，比不使用重放模型高 63％，仅比离线训练最先进的 GRU 模型低 5.4％。
continual learningtemporal sequencesbrain-inspired replay modelbiologically-inspired conditional temporal variational autoencoderhuman motion dataset
发现论文，激发创造
  • 基于 Transformer VAE 的带动作条件的 3D 人类动作合成

    本文介绍了一种运用 VAE 和 Transformer-Based 架构实现人体运动序列的有条件生成，以及改进行为识别和降噪等两种应用。

    Apr, 2021

  • Action2Motion: 条件化生成三维人体动作

    研究逆向行动识别问题，以给定的预设行动类型为条件，通过采用 Lie Algebra 理论和时序变分自编码器（VAE）来生成 3D 的逼真的人体运动序列，并保持多样性，实验评估证明了方法的有效性。

    Jul, 2020

  • MT-VAE: 学习运动变换以生成多模式人体动力学

    本文提出了一种新颖的动作序列生成方法 MT-VAE，它可以利用动作序列之间的转换关系，学习运动方式的特征嵌入和运动方式之间的特征变换，从而生成多样性且逼真的面部和全身运动，并展示了与类比运动传递和视频合成相关的应用。

    Aug, 2018

  • 运动 VAE 使用的角色控制器

    该篇论文介绍了如何使用基于数据驱动的生成模型，结合深度强化学习算法来实现基于多段运动捕捉数据的真实人体动作生成，并分析了 Motion VAEs 的局限性。

    Mar, 2021

  • 递归变压器变分自编码器用于多动作运动合成

    通过 Recurrent Transformers 和条件变分自编码器的结合，我们提出了一种新的迭代式方法，能够高效地生成具有任意动作序列的人类运动序列。该方法在 PROX 和 Charades 数据集上得到了验证，表明它在 FID 得分和语义一致性指标方面显著优于现有的技术方法。

    Jun, 2022

  • T2M-GPT: 使用离散表示生成基于文本描述的人体动作

    本文研究了基于 VQ-VAE 和 GPT 的人体运动生成的条件生成框架，并表明了通过常用的训练配方（EMA 和 Code Reset），我们可以获得高质量的离散表示。此外，我们在训练期间采用了一种简单的损坏策略来缓解训练 - 测试偏差，并在 HumanML3D 数据集上表现出比竞争方法更好的性能。

    Jan, 2023

  • 使用 VAEs 的任务通用分层人体动作先验

    本研究提出了一种新的深度生成模型，利用组合的全局和局部潜空间进行粗细粒度建模，独立于特定任务地学习复杂的人体运动，并在视频中基于人体姿态估计、运动捕捉系统中模拟完整的身体运动并进行可信的关键帧动画辅助。该通用的人体运动模型可以修复损坏的人体动画，从不完整的观察中生成完整的运动。

    Jun, 2021

  • 学习人体运动模型进行长期预测

    使用自动编码器的 LSTM 模型从数据中学习预测时空运动模型、自动生成自然运动序列并开发新的评估协议，成功地在两个最大的运动捕捉数据集上表现出长时间水平高于现有的预测和合成方法。

    Apr, 2017

  • 卷积序列到序列模型用于人类行为动态

    基于卷积神经网络和编码器 - 解码器结构，提出了一种新颖的人体运动建模方法，并在 Human3.6M 和 CMU Motion Capture 数据集上取得了更准确的预测结果。

    May, 2018

  • BiRT: 面向视觉 Transformer 的生物启发式重放以实现连续学习

    本文提出了一种基于视觉转换器的表示重复的持续学习方法 BiRT，使用构造性噪声和指数移动平均模型实现预测的一致性，并在多个有挑战性的连续学习基准上提供持续的性能增益。

    May, 2023