Daniel Ajisafe, James Tang, Shih-Yang Su, Bastian Wandt, Helge Rhodin
TL;DR利用镜子进行人体运动捕捉,包括通过学习一个完整的身体模型、自动校准摄像机、估计镜子方向和将 2D 关键点检测提升为 3D 骨骼姿势等,实现了一个消费级的 3D 运动捕捉系统,并在具有挑战性的镜子场景中实现了模型学习和遮挡的优势。
Abstract
human motion capture either requires multi-camera systems or is unreliable
using single-view input due to depth ambiguities. Meanwhile, mirrors are
readily available in urban environments and form an affordable a
不加强实境应用中的动画人型化身是不可能的。我们提出了一种基于 HINT 的算法,能够从有限的视角学习到详细和完整的人体模型,通过引入对称先验、正则化约束和大型人体数据集提供的训练线索来解决传统方法中受限于视角可用性的问题,从而使我们的方法能够重构完整的人体,即使只有少数视角,与先前最先进算法相比,性能提高了 15% 以上的峰值信噪比。