Jul, 2017

从合成数据中学习人体姿势模型以实现鲁棒的 RGB-D 动作识别

PDF
TL;DR我们提出了一种人体姿态模型，可表示与服装纹理、背景、光线条件、身体形状和摄像机视点无关的 RGB 和深度图像。通过开发一个综合训练数据的框架，我们学习了 CNN 模型并使用它们从真正的 RGB 和深度帧的人体动作视频中提取不变特征。在三个基准跨视图人体动作数据集的实验中，我们的算法在 RGB 和 RGB-D 动作识别方面明显优于现有方法。
发现论文，激发创造
  • 从未见过的视角识别动作的人造人类

    本研究旨在探讨合成人类能否提高人类动作识别的性能，特别关注对不寻常拍摄视角的泛化能力，研究发现数据的合成和扩充可以带来性能的提升。

    Dec, 2019

  • 从合成人中学习

    本文提出了使用由 3D 运动捕捉数据生成的合成真实人形图像的大规模数据集 (SURREAL) 来训练卷积神经网络 (CNNs)，并且通过该数据集训练的 CNNs 在 RGB 图像中可以准确地进行人物深度估计和人物部分分割。

    Jan, 2017

  • 基于图像合成的深度 3D 人体姿态估计

    本文提出了一种在 “野外” 环境中进行三维人体姿态估计的解决方案，通过生成大量的具有三维姿势标注的逼真合成图像，并使用这些图像对全身三维姿势进行端对端的卷积神经网络训练，成功地在受控环境（Human3.6M）中优于大多数已发表的作品，并在真实图像（LSP）中展现了有前途的结果。

    Feb, 2018

  • 使用在合成 RGB-D 上训练的深度网络实现语义姿态

    通过深度卷积神经网络实现室内场景理解的任务。为了克服 RGB-D 训练数据不足的问题，采用实时渲染技术生成合成室内场景，并通过迁移学习的方式使得模型能够处理具有高度挑战性的真实场景。该神经网络具备较短的运行时间，可同时估计类别、姿态和位置等参数。

    Aug, 2015

  • 合成人类不常见的姿势图像

    本文介绍了一种基于模块化生成神经网络的方法，用来合成出一张人的图像并保证姿势、外貌和背景的一致性，其中包括了基于图像和动作的训练资料，以及对抗性判别器等技术来实现姿势合成，最终能够生成与动作类别准确匹配的图像，同时还可以将多个动作合成为视频。

    Apr, 2018

  • 合成训练图片以提升人体三维姿势估计

    本研究旨在通过人体姿态空间的采样和真实图像纹理的提取，建立一个全自动，可扩展的方法来合成姿态注释的图像，从而为 3D 姿态估计任务提供合成培训数据，最终证明 CNNs 在合成图像上训练可以在 3D 姿态估计任务上胜过在真实照片上训练。

    Apr, 2016

  • 面向任意视角人体动作识别的大规模多视角 RGB-D 动作数据集

    本文介绍了一个新的大规模 RGB-D 数据集，其中包括固定视角和全方位视角下的 40 种行动，以及 VS-CNN 模型的提出和有效性验证，该模型可用于解决任意视角下行动识别的问题。

    Apr, 2019

  • RGBD 图像中的人体姿态三维估计用于机器人任务学习

    利用 RGBD 图像估算 3D 人体姿态，通过关键点检测器和深度信息实现 3D 提升，在真实环境下通过学习演示框架指示服务机器人模仿人类教师的操作，超越了单眼调色板和深度姿态估计方法的性能。

    Mar, 2018

  • 实时 3D 人体姿态估计和动作识别的多任务深度学习

    本研究提出了一种多任务学习框架，能够同时从单眼彩色图像中估算二维或三维的人体姿态并分类人体动作。通过参数共享与关键预测部分解耦等技术，该框架能有效地处理静态图像和视频剪辑，实现了 100 帧以上的速度，并在四个数据集上显著提高了预测能力。

    Dec, 2019

  • 基于 RGB-D 和深度学习的人体动作识别：一项综述

    本文综述了近年来在 RGB-D 基础上的人体运动识别中，采用深度学习方法中卷积神经网络和循环神经网络的应用，通过四类方法（基于 RGB、基于深度、基于骨骼、基于 RGB+D）来探讨现有技术的优缺点，特别是强调了应用于视频序列固有的时空结构信息的编码方法，以及未来的研究方向。

    Oct, 2017