Sep, 2016

姿势来自动作：基于运动的无监督学习姿势特征

PDF
TL;DR本文提出了一种从视频中自动学习姿态特征的无监督方法，该方法利用了动作信号这一与外貌互补且可用于监督的信号，使用一个外貌卷积神经网络和一个运动卷积神经网络来表示姿态和生成动作编码，通过在 FLIC、PASCAL、UCF101 和 HMDB51 数据集上的 fine-tuning 实验证明了其在静态图像动作识别和视频动作识别方面的优越性。
pose featuresunsupervised learningmotion encodingcnnaction recognition
发现论文，激发创造
  • 基于姿态的 CNN 特征在动作识别中的应用

    本研究提出了一种基于人体姿势的卷积神经网络描述子（P-CNN），该描述子通过人类身体部位的轨迹聚合运动和外观信息，可以显著提高在 JHMDB 和 MPII Cooking 数据集上进行的人体动作识别的最新表现。

    Jun, 2015

  • 无监督视频理解 —— 通过协调姿态相似性

    采用基于视频序列的完全无监督深度学习过程，该过程可以描述一个活动的最基本组成部分，即单个姿势及其独特的过渡。

    Aug, 2017

  • 人体动作作为姿态嵌入流形中轨迹的无监督特征学习

    本文提出了一种新颖的时间姿势序列建模框架，可以将 3D 人体骨骼关节的动态嵌入到一个连续的潜在空间中，并应用于细粒度动作识别。 通过 Encoder GAN 和 PoseRNN 组合实现了一个无监督的骨架姿势重构和自编码器架构，该架构在 SBU 交互数据集上表现出了先进的传输性能和姿势插值。

    Dec, 2018

  • 姿势为行动 - 行动为姿势

    本研究提出一种基于人类行为信息以改善单目视频中的姿态估计的方法，运用具有高级信息的绘画结构模型，将高阶部分依赖性纳入考虑，通过建模行为专有的外观模型和姿态先验。同时，通过在姿态估计过程中使用统一的行为先验进行更新，而无需使用额外的昂贵的行为识别框架来较高效地估计动作先验。我们还展示了一定量的外观共享学习有助于姿态估计的正确性。该文在两个具有挑战性的数据集上进行了有效性验证，包含 80, 000 个测试图像。

    Mar, 2016

  • 无监督学习视角不变动作表示

    提出一种无监督学习框架，利用未标记的数据来学习视频表示，通过学习推断不同视图的三维运动，捕捉视角不变的动作特征，以及增强视角不变特征的学习方法，并在多个数据集上证明该方法对动作识别的有效性。

    Sep, 2018

  • 使用动作线索监督低数据环境下的单帧身体姿势和形状估计

    使用未标注视频作为监督信号，可以在没有足够的标注数据时提供额外的监督以优化网络权重，并与使用更多标注数据训练的方法相媲美。

    Feb, 2024

  • 合成人类不常见的姿势图像

    本文介绍了一种基于模块化生成神经网络的方法，用来合成出一张人的图像并保证姿势、外貌和背景的一致性，其中包括了基于图像和动作的训练资料，以及对抗性判别器等技术来实现姿势合成，最终能够生成与动作类别准确匹配的图像，同时还可以将多个动作合成为视频。

    Apr, 2018

  • 半监督和弱监督的人体姿势估计

    本文提出了三种半监督和弱监督学习方案，通过利用卷积神经网络对人体姿态进行估计，实现了对无人类注释的训练图像中候选姿态和真正正面姿态的选择和提高。方案基于姿态聚类和离群姿态检测，可以选择更多的真正姿态，并在大规模人体姿态数据集上得到了验证。

    Jun, 2019

  • 基于人体姿势的深度学习估计、跟踪和动作识别：综述

    该论文综述了基于深度学习的姿势分析应用，包括姿势估计、姿势跟踪和动作识别，并讨论了现有技术的优势和局限性，重点介绍了将这三个任务整合到视频序列的统一框架中的方法，并探讨了相关挑战和未来研究方向。

    Oct, 2023

  • ElePose: 通过预测相机高度并在二维姿态上学习归一化流的无监督三维人体姿态估计

    本文提出一种无监督的方法，通过学习从单张图像预测 3D 人体姿态来解决对于许多人类活动尚不存在标注训练数据的挑战，并且采用正则化流和对 2D 和 3D 姿态进行线性子空间投影来提高性能。

    Dec, 2021