RemoCap: 动作捕捉的解缠表示学习
提出了一种骨架解耦的 3D 人体网格恢复方法,该方法利用自我注意力机制实现多级空间和时间粒度的分离建模,并通过无监督对抗训练策略以及临时混洗和顺序恢复,成功提高了人体网格恢复的精度。
Aug, 2019
本论文提出了一种名为 SportsCap 的方法,利用数据驱动的多任务方式,从单眼挑战性运动视频中同时捕获 3D 人体运动和理解细粒度动作,并使用多流空间 - 时间图卷积网络预测细粒度语义动作属性,从而具有分析运动和评分的各种应用。
Apr, 2021
这篇论文提出了一种自动学习的多帧单目深度预测方法 DynamicDepth,通过自补丁一致性学习方案训练一个新的框架,其中进行了动态物体运动分离来解决匹配问题,并设计了新型的遮挡感知代价卷积和复投影代价来减轻物体运动对遮挡的影响,实验证明该方法在动态物体方面显著优于现有的单目深度预测方法。
Mar, 2022
本研究提出了一种名为 HybridCap 的轻量级、混合的 3D 运动捕捉技术,通过仅使用 4 个惯性测量单元的传感器,加上基于合作式门控循环单元块的层次运动推理模块和混合优化方案,可以实现对各种运动的鲁棒跟踪。
Mar, 2022
本文提出了 ChallenCap—— 一种基于模板的方法,利用单个 RGB 相机在新颖的学习和优化框架下,结合多模态参考信息,捕捉复杂的人体三维运动。通过使用两个稀疏视角参考点和无配对基于标记的参考点,结合一个生成网络和运动鉴别器,提出了一个混合运动推断阶段,以数据驱动的方式提取特定的挑战性运动特征。同时,通过运动优化阶段结合监督多模态参考提高跟踪精度。在新的运动挑战数据集上的实验证明了我们的方法的有效性和稳健性。
Mar, 2021
本文介绍了一种用于真实场景下的、单机位、实时运动捕捉的算法,该算法首次提出了纯物理可行、实时和无标记人类 3D 运动捕捉的算法,通过 CNN 和逆运动学步骤捕捉纯运动,进一步使用物理优化器来处理运动捕捉,实现了全局 3D 人体运动捕捉,而不出现任何不符合生物力学数据的结果。
Aug, 2020
本研究提供了首个非标记的方法来在单目视频中实现人类的三维运动捕捉,可以重建关节骨架的运动以及一般场景中中等尺度的非刚性表面形变。通过使用卷积神经网络中的疏 2D 和 3D 人体姿势检测,以及基于低维轨迹子空间解决单目重构问题的模式,我们解决了由大范围关节运动,具有潜在快速运动和相当大的非刚性变形构成的人工能捕捉挑战。此外,我们根据完全自动提取的轮廓线提出了基于表面几何的细化方法,以实现中等规模的非刚性匹配,我们的方法实现了最先进的性能捕捉结果,在准确性,鲁棒性和可处理的场景复杂性方面明显优于先前的单目方法。
Aug, 2017
本文提出了一种新颖的方法,利用深度卷积神经网络来对 2D 关节点位置进行建模,并通过期望最大化算法来恢复 3D 几何体,从而实现了对不带标记的单个摄像头的全身人体姿态估计。
Jan, 2017
运用机器学习技术解决实时光学动作捕捉系统面临的挑战,包括通过模型训练解决标记估计的噪声问题、训练数据的获取和分布问题,实现即使使用稀疏的廉价传感器仍能提供稳健的基于标记的动作捕捉;通过采用统一的表示方法,以无标记动作捕捉的进展获取所需数据;通过改进的逆向运动学解决方案来考虑测量和推理的不确定性,进一步提高性能和稳健性。
Sep, 2023
通过 DRL-Net 网络的设计,使用 transformer 架构来实现不需要严格的人像对齐或任何额外监督,通过对局部特征的全局推理来完成 occluded re-ID,同时使用对话查询指导 undefined semantic components 的表征分离,并设计 CFL 技术来更好地分离 occlusion 和 discriminative ID 特征,对遮挡现象进行更好的消除。
Jul, 2021