Dec, 2018

人体动作作为姿态嵌入流形中轨迹的无监督特征学习

PDF
TL;DR本文提出了一种新颖的时间姿势序列建模框架，可以将 3D 人体骨骼关节的动态嵌入到一个连续的潜在空间中，并应用于细粒度动作识别。 通过 Encoder GAN 和 PoseRNN 组合实现了一个无监督的骨架姿势重构和自编码器架构，该架构在 SBU 交互数据集上表现出了先进的传输性能和姿势插值。
unsupervised human action modelingpose-sequence representationtemporal pose-sequence modelingencoder ganfine-grained action recognition
发现论文，激发创造
  • 姿势来自动作：基于运动的无监督学习姿势特征

    本文提出了一种从视频中自动学习姿态特征的无监督方法，该方法利用了动作信号这一与外貌互补且可用于监督的信号，使用一个外貌卷积神经网络和一个运动卷积神经网络来表示姿态和生成动作编码，通过在 FLIC、PASCAL、UCF101 和 HMDB51 数据集上的 fine-tuning 实验证明了其在静态图像动作识别和视频动作识别方面的优越性。

    Sep, 2016

  • 不监督 3D 人体姿态表示：景象和姿态分离

    本文提出了一种全新的 Siamese 去噪自编码器来学习 3D 姿势表示，通过分离人类骨架数据的姿势和视图特征来进行全面无监督的学习，并借助序列双向递归网络（SeBiReNet）来考虑运动学和几何依赖性， 实现了在姿势去噪和无监督动作识别等问题上的最佳表现。

    Jul, 2020

  • 基于长时程建模的人体运动时空流形学习

    本研究提出了一种基于深度学习的数据驱动建模方法，利用自然运动流形来处理人类运动中存在的多模态时空相关性及骨骼信息提取问题，并在多个应用场景中获得了优异的结果。

    Aug, 2019

  • 社交和情境感知的人体运动和姿势预测

    本文提出了一种新的框架来处理机器人导航中预测人类动态的问题，该框架将人类运动（或轨迹）和骨骼姿态预测这两个任务统一起来，并考虑到了场景和社交上下文等多种因素，最终在两个社交数据集上表现优异。

    Jul, 2020

  • 三维人体姿态估计几何感知表示的弱监督发现

    本研究提出了一种几何感知的人体姿态三维表示方法，通过使用多个视角和简单的自编码器模型以 2D 关键点信息为监督，在训练阶段建立共享的 3D 表示，进而通过骨架编码器 - 解码器机制在潜在空间提取仅与姿态相关的表示。实验结果表明，该方法能够显著提高现有姿态估计方法的性能。

    Mar, 2019

  • 通过学习平滑的潜在转换学习多样化的随机人形动作生成器

    本文提出了一种基于骨架的动作生成方法，采用潜在动作序列的低维潜在空间来构建平滑多样的状态转移模型，并在逐帧解码器的支持下生成动作序列，在生成多样性方面表现优异，同时在同一模型中实现了动作序列分类。

    Dec, 2019

  • 动作无关的人体姿势预测

    本文提出了一种新的不考虑活动标签的短期和长期人体姿势预测方法，使用一种新的循环神经网络模型 —— 三角棱镜循环神经网络，该模型通过编码不同时间尺度的时间依赖性来捕获潜在的分层结构，经在 Human 3.6M 和 Penn Action 数据集上进行了广泛的实验，证明了本方法在数量和质量上均优于基线和最先进的方法。

    Oct, 2018

  • 学习运动轨迹依赖关系进行人体动作预测

    本文提出了一种基于前馈深度网络的预测人体运动的方法，通过在运动轨迹空间而非传统的姿态空间中编码时间信息，同时使用通用的图卷积网络自动学习人体姿势的空间依赖关系，从而实现了超越以往人体运动预测方法的性能。

    Aug, 2019

  • 从视频中的时空关系中进行自监督学习姿态嵌入

    通过自我监督学习利用时空关系进行姿态嵌入的深度卷积网络，包括时序和空间任务，在数据采样中利用一种课程学习方法，并挖掘单个视频中的重复姿态，以提高姿势估计和检索效果。

    Aug, 2017

  • 姿势引导的人体视频生成

    本文提出了一种基于姿态引导的方法来以可分离的方式合成人类视频：可信的运动预测和协调的外观生成，旨在探索并掌握视频合成中人体姿态的本质动态和诠释能力，并在保持外观连贯性的同时处理异常和嘈杂数据，实验证明其优于现有技术。

    Jul, 2018