MIGS: 多身份高斯喷洒通过张量分解
我们提出了一种名为SplatArmor的新方法,通过在3D高斯函数中将参数化的人体模型“装甲”,从而恢复出详细的、可动画的人体模型。我们的方法将人体表示为一组位于规范空间内的3D高斯函数,其关节扭曲通过在规范空间内任意位置扩展底层SMPL几何体的蒙皮来定义。为了考虑姿势相关效果,我们引入了一个SE(3)场,允许捕捉高斯函数的位置和各向异性。此外,我们提出了使用神经颜色场来提供颜色规范化和用于准确定位这些高斯函数的3D监督。我们通过展示ZJU MoCap和People Snapshot数据集上的令人信服的结果,证明了高斯函数散射提供了一种有趣的替代于基于神经渲染的方法,它利用了不可区分性和优化挑战,而这些挑战通常在这类方法中面临。粗放复刻范例使我们能够利用向前蒙皮,并且不会受到逆蒙皮和扭曲所带来的不确定性的影响。我们的方法对于可控的人体合成的有效性进行了强有力的证明。
Nov, 2023
该研究解决了从多视角视频中学习的逼真人体化身的实时渲染问题,通过提出了基于三维高斯散点的可动态化的人体模型,相较于现有方法,在THuman4数据集上呈现了1.5dbB更好的PSNR,并能以20fps或更高的速度进行渲染。
Nov, 2023
GauHuman是一个3D人体模型,通过高斯飞溅实现快速训练(1 ~ 2分钟)和实时渲染(最高189 FPS),与现有的基于NeRF的隐式表示建模框架相比,后者需要几个小时的训练和每帧几秒钟的渲染。
Dec, 2023
使用3D高斯喷洒(3DGS),我们介绍了一种从单目视频中创建可以动画化的人体化身的方法。通过学习非刚性变形网络和引入不同性的正则化,我们的方法在训练和推理速度上比现有的技术分别快400倍和250倍,并实现了与最先进方法相媲美甚至更好的性能。
Dec, 2023
本文介绍了Rig3DGS,通过使用一组三维高斯分布在规范空间中表示整个场景,借助可以学习的形变方法来控制面部表情、头部姿势和视角合成,从而实现从单视角捕获生成高质量渲染的目标。
Feb, 2024
通过矩阵和张量分解技术,我们提出了一种新方法,即因式化三维高斯粒子点描(F-3DGS),通过高效的因式化,大大减少了存储需求,同时保持了渲染图像的质量。
May, 2024
本文介绍一种利用高斯分廓的新方法,能够通过限定的稀疏视图以前馈的方式学习和呈现广义的人类高斯,从而实现对新的人类主题的逼真和准确的视图呈现。该方法通过在人类模板的2D UV空间上定义回归过程来学习3D高斯参数,有效利用了强的几何先验和2D卷积的优势,并通过多层支架的提出有效地表示偏移细节。实验证明,该方法在数据集内和跨数据集的泛化设置中优于最近的方法。
Jul, 2024
本研究致力于解决现有基于高斯点云的手部虚拟形象在输入视角和手部姿态有限时的效果不佳问题。通过引入一个新颖的交互意识两阶段高斯框架,结合优化和学习的特征提取方法,显著提升了图像渲染质量,尤其是在手部交互区域。实验结果表明,该方法在大型数据集上的表现超越了现有技术,具有广泛的应用潜力。
Oct, 2024
本研究针对3D高斯散点(3DGS)在少量视图训练时容易过拟合的问题,提出了一种自我集成高斯散点(SE-GS)的方法。通过引入不确定性感知扰动策略,动态调整生成模型,使其能够在更广泛的视角变化下生成新视图图像,从而有效提升了少量训练视图下的新视图合成质量。实验结果表明,SE-GS在多个数据集上超越了现有的最先进方法。
Oct, 2024