DoubleFusion: 单深度传感器实时捕捉人类表现及其内部身体形态
本文提出了一种实时动态场景重构方法,能够在给定单个 RGB-D 相机的实时深度流情况下同时再现运动、几何和分割。我们的方法通过融合几何逐帧进行处理,并使用分割增强的节点图结构来驱动几何变形。我们提出了一种二级节点运动优化方法,并通过利用关节运动先验知识来大大减少节点运动的优化空间和物理合理的变形范围。与之前基于融合的动态场景重构方法相比,我们的实验表明,我们的方法对于切向运动和遮挡的运动都具有鲁棒性和改进的重建结果。
Jul, 2018
论文提出了一种实时捕获全身人类表现的全新方法,能够通过单个 RGB 视频重建完整人类的密集、时空一致变形几何形态,通过二阶段的分析合成优化策略实现精细的人类表现捕获,并且结合了 4D 运动捕捉,利用材料区域的自动识别进行模型优化,从而实现最终的实时全身表现捕捉。
Oct, 2018
本文提出了一种结合时间体积融合和深度隐式函数的人体体积捕捉方法,该方法不仅可以实现高质量、连续的重建,而且可以生成包含几何细节和更加逼真的纹理结果的细节保留深度隐式函数,实验结果表明,该方法在稀疏视角、泛化能力、重建质量和运行效率方面优于现有方法。
May, 2021
提出了一种单视角人体体积捕捉方法,名为 POSEFusion,该方法利用基于跟踪的方法和跟踪自由推断来实现高保真和动态的三维重建。通过新颖的重建框架包含姿势导向的关键帧选择和强大的隐式表面融合,该方法充分利用了基于跟踪的方法和跟踪自由推断方法的优点,并最终实现了动态表面细节的高保真重建,即使在不可见区域内。
Mar, 2021
本文提出一种名为 DeepFuse 的两阶段全 3D 网络,通过深度融合佩戴式 IMU 数据和多视角图像,实现人体姿态估计。其中第一阶段为纯视觉估计,第二阶段引入 IMU-bone 层,能在数据级别上进行 IMU 和视觉数据融合,不需要预先给出骨架模型。实验结果表明,该方法在各个数据集上均取得了优异的效果,未来有望成为 3D 姿态估计研究的重要方向。
Dec, 2019
通过使用单个消费级 RGB-D 传感器以实时速率进行动态几何形状的重建,我们提出了一种新的方法,该方法不需要预定义的形状模板,并且在扫描过程中从头开始构建场景模型。采用了体积表示法对几何和运动进行参数化,并且基于提取的稀疏颜色特征与密集深度约束公式相结合实现了运动跟踪。从而保证了准确跟踪并大大降低了标准模型到深度对齐固有的漂移。同时,我们还将寻找空间最佳变形视为非线性正则化变分优化问题,并通过在本地平滑和靠近输入约束的同时实现了数据并行的翻转优化策略。研究结果表明,即使在快速运动和缺乏几何特征的场景下,也能实现稳健的跟踪。
Mar, 2016
本文提出了一种新方法,基于一个稀疏的 RGBD 相机捕获集合来重建 3D 人体模型,重点解决拍摄过程中的姿态变化和遮挡问题,并使用全局非刚性注册和纹理映射优化等步骤来实现。通过实验证明,该方法的性能优异,且具有灵活性和多种潜在应用。
Jun, 2020
本文介绍了一种仅使用少量 Kinect 传感器进行无标记动作捕捉的高效且廉价方法,通过使用最近的图像分割技术和纯合成数据进行课程学习,实现了对身体各部位的准确本地化并且无需使用显式形状模型。同时,我们介绍了一个包含约 6 百万合成深度帧的新数据集,并超过了 Berkeley MHAD 数据集的最新结果。
May, 2016
该研究提出了一种用于实时全身捕捉的方法,可以从一张彩色图像中估计身体和手部的形状和运动,同时还可以生成带有动态 3D 面部模型的手部和身体。其方法采用了一个新的神经网络架构,可以高效地利用身体和手部之间的相关性。与先前的方法不同,该方法可以在多个数据集上进行联合训练,而无需同时注释所有部分的数据,从而实现了更好的泛化能力。该方法可以更准确地捕获面部表情和颜色,还可以估计统计面部模型的形状,表情,颜色和照明参数。在公共基准测试中,该方法达到了竞争性的准确性,但速度更快,提供了更完整的面部重建。
Dec, 2020