PoseSync: 鲁棒的基于姿态的视频同步
本文介绍一种无监督的视频对准方法,通过人体检测、姿态估计、VGG 网络等机器视觉工具提取并结合构建多维时间序列,利用 Diagonalized Dynamic Time Warping (DDTW) 算法对相同动作的视频进行对齐,采用新型评价指标 Enclosed Area Error (EAE) 显示本文方法在视频对齐任务和相位分类任务上均优于之前最先进的方法 (TCC 等)。
Apr, 2023
本文介绍一种简单的方法来实现 “像我这样做” 的运动转移:使用 “姿势” 作为中间表示,从源主体中提取姿势并应用学习的姿势到外观的映射来生成目标主体,并提供一个可靠的合成内容检测的取证工具和一个首个独一无二的开源视频数据集来进行训练和运动转移。
Aug, 2018
该研究比较了不同的基于深度学习的系统,证明了一些系统足够高效和具有泛化能力,能够在软件层面实现双目相机的视频同步,从而降低整个系统的成本、重量和体积,并为生产就绪软件视频同步系统铺平了道路。
Mar, 2023
该研究通过基于束调整的算法从单眼视频中恢复准确的 3D 人体姿势和网格,通过在整个序列上重建人体来提供额外的约束并解决歧义问题。同时,该研究提出了一个包含超过 3 百万帧来自 Kinetics 的 YouTube 视频数据集,能够提高 3D 运动估计的准确性,该算法具有实际意义。
May, 2019
该论文提出了一种基于最新的人体检测和视频理解技术的轻量化人体关键点估计和跟踪方法,在帧级别和短视频片段中进行关键点估计,并进行轻量级跟踪,领先于多项竞争者,成为 2017 年 ICCV PoseTrack 的关键点跟踪挑战的最佳表现。
Dec, 2017
文章提出了一个以姿势感知损失的学习方法来自动生成符合音乐的舞蹈视频。文章使用两个区分器来捕捉序列的不同方面,并提出新的姿态感知损失来产生自然的舞蹈,同时还提供了一种新的跨模态评估来评估舞蹈质量。最终,通过一项用户研究,证明了所提出的方法生成的舞蹈视频具有惊人的逼真效果。
Dec, 2019
使用视频来分析棒球投手在策略和预防伤害方面起着至关重要的作用。基于计算机视觉的姿势分析提供了一种高效和经济的方法。然而,使用 30fps 帧速率的可访问广播视频通常在快速动作中导致部分身体运动模糊,限制了现有姿势关键点估计模型的性能。本文提出了一种合成数据增强流程,以增强模型处理模糊动作的能力。此外,我们利用野外视频使我们的模型能够在不同的真实环境条件和摄像机位置下保持稳健。通过精心优化增强参数,我们观察到在 2D 和 3D 姿势估计的测试数据集上损失分别减少了 54.2% 和 36.2%。通过将我们的方法应用于现有最先进的姿势估计器,我们展示了平均改进了 29.2%。研究结果突出了我们的方法在减轻运动模糊带来的挑战方面的有效性,从而提高了姿势估计的整体质量。
Sep, 2023
本文提出了一种高效利用视频序列中连续帧运动信息来恢复人的三维姿态的方法,并通过回归边界框的时空体到中心帧的 3D 姿势来改进现有方法。同时,为了最大限度地发挥这种方法的潜力,本文阐明必须补偿连续帧中的运动,以使被测量者保持中心,从而能够有效地消除歧义并在 Human3.6m、HumanEva 和 KTH Multiview Football 3D 人体姿态估计基准测试中取得显著改进。
Nov, 2015
本文介绍一种可扩展和强健的非线性时间视频对齐方法,该方法利用了视频本身的本质,能够在没有手动标签的情况下对月份间隔的数据进行视频对齐,并能用于计算机图形学和视觉领域的广泛应用。
Oct, 2016
3D 姿态估计是计算机视觉中一项非常重要的任务,特别是针对多人单目视频(3DMPPE)的 3D 姿态估计仍然具有挑战性,我们提出了 POTR-3D,这是第一个基于序列到序列的 2D 到 3D 模型实现的 3DMPPE,采用一种新颖的几何感知数据增强策略,能够生成具有各种视角的无界数据,并关注地面和遮挡效果,通过大量实验证明,我们的方法在不同的未知视角上具有鲁棒性,在重度遮挡下能够可靠地恢复姿态,并生成更自然和平滑的输出,我们的方法在公开基准上取得了最先进的性能,并在具有挑战性的野外视频上取得了定性结果。
Sep, 2023