本文提出了一种基于过程生成、物理模型和现代游戏引擎组件的人体运动视频生成方法,它可以生成一个包含 39,982 个视频的数据集,其中包括 35 个不同的动作类别。通过结合小的真实数据集,我们的方法可以显著提高视频行为识别性能,即使这些数据集的动作类别不同。
Oct, 2019
通过建立一个可解释的参数生成数码,我们使用程序生成和其他现代游戏引擎的计算机图形技术生成了一组逼真、多样化和符合物理规律的人类动作视频,含 39,982 个视频。利用 UCF101 和 HMDB51 数据集的实验表明,我们的方法可以通过结合使用大量合成视频和小型真实数据集,大幅提高识别性能,明显优于现有的无监督生成模型的微调。
Dec, 2016
使用创新的游戏引擎技术,GTAutoAct 自动生成大规模高质量标注的行为识别数据集,通过将坐标为基础的三维人体动作转换为适用于多个视角的旋转导向表示,使用动态分割和插值创建平滑真实的动作动画,并提供可定制的动画场景和自主视频捕获与处理流水线,实验结果验证了该框架的稳健性和对行为识别模型训练的显著改进潜力。
Jan, 2024
本文介绍了一个新的大规模 RGB-D 数据集,其中包括固定视角和全方位视角下的 40 种行动,以及 VS-CNN 模型的提出和有效性验证,该模型可用于解决任意视角下行动识别的问题。
Apr, 2019
介绍了一个大规模的现实世界数据集,该数据集用于评估人类行为识别的学习技术,进一步提出了在无人干预状态下收集数据和训练的方法,并针对该训练数据出现的语义不一致性问题,提出了一个语义分层结构。
Jun, 2019
本文介绍了 S3Aug,一种用于动作识别的视频数据增强方法。该方法通过分割和标签转换,从单个训练视频生成新的视频,并通过采样修改某些类别的标签图像,以生成多样的视频,并通过移动中间特征来增强生成视频帧之间的时间连贯性。通过在 UCF101、HMDB51 和 Mimetics 数据集上的实验证明了所提方法的有效性,尤其对于 Mimetics 数据集中的非上下文视频。
Oct, 2023
本文研究无人机低成本、快速移动的优点,为了解决训练空中人类行为视频数据成本高、费时、难度大的问题,探索使用两个替代数据源,即视频游戏和生成式对抗性网络来提高分类精度,并利用分离多任务学习框架将两个数据集集成,提出了一种用于改善空中行动识别的方法,其结果表明,视频游戏的影像和 GAN 生成的影像是非常有用的,能够在只有少量实际训练样本的情况下显著提高空中行动识别的准确度。
本研究旨在探讨合成人类能否提高人类动作识别的性能,特别关注对不寻常拍摄视角的泛化能力,研究发现数据的合成和扩充可以带来性能的提升。
Dec, 2019
针对自然语言与视觉任务融合的多个数据集和方法的持续爆炸性增长的问题研究,本篇综述将现有的行动识别方法按照它们如何概念化这个问题进行分类,并详细评述现有的数据集及其多样性、优缺点。 重点关注最近开发的数据集,它们将视觉信息与语言资源联系起来,并对图像中的动作进行细粒度的语法和语义分析。
Apr, 2017
研究逆向行动识别问题,以给定的预设行动类型为条件,通过采用 Lie Algebra 理论和时序变分自编码器(VAE)来生成 3D 的逼真的人体运动序列,并保持多样性,实验评估证明了方法的有效性。
Jul, 2020