Mar, 2021

ChallenCap: 使用多模参考实现具有挑战性的人类表现的单目 3D 捕捉

TL;DR本文提出了 ChallenCap—— 一种基于模板的方法,利用单个 RGB 相机在新颖的学习和优化框架下,结合多模态参考信息,捕捉复杂的人体三维运动。通过使用两个稀疏视角参考点和无配对基于标记的参考点,结合一个生成网络和运动鉴别器,提出了一个混合运动推断阶段,以数据驱动的方式提取特定的挑战性运动特征。同时,通过运动优化阶段结合监督多模态参考提高跟踪精度。在新的运动挑战数据集上的实验证明了我们的方法的有效性和稳健性。