HUGS: 人类高斯斑点
该研究解决了从多视角视频中学习的逼真人体化身的实时渲染问题,通过提出了基于三维高斯散点的可动态化的人体模型,相较于现有方法,在 THuman4 数据集上呈现了 1.5dbB 更好的 PSNR,并能以 20fps 或更高的速度进行渲染。
Nov, 2023
GauHuman 是一个 3D 人体模型,通过高斯飞溅实现快速训练(1 ~ 2 分钟)和实时渲染(最高 189 FPS),与现有的基于 NeRF 的隐式表示建模框架相比,后者需要几个小时的训练和每帧几秒钟的渲染。
Dec, 2023
使用 3D 高斯喷洒(3DGS),我们介绍了一种从单目视频中创建可以动画化的人体化身的方法。通过学习非刚性变形网络和引入不同性的正则化,我们的方法在训练和推理速度上比现有的技术分别快 400 倍和 250 倍,并实现了与最先进方法相媲美甚至更好的性能。
Dec, 2023
通过引入分层图人体高斯控制(HUGS)框架,基于 3D 高斯喷洒(3DGS)的方法在人体重建方面取得了进展,通过利用身体部位的语义先验来确保几何拓扑的一致性,从而捕捉身体部位之间的复杂几何和拓扑关联,特别擅长增强表面细节和准确重建身体部位连接点。
May, 2024
我们提出了一种名为 SplatArmor 的新方法,通过在 3D 高斯函数中将参数化的人体模型 “装甲”,从而恢复出详细的、可动画的人体模型。我们的方法将人体表示为一组位于规范空间内的 3D 高斯函数,其关节扭曲通过在规范空间内任意位置扩展底层 SMPL 几何体的蒙皮来定义。为了考虑姿势相关效果,我们引入了一个 SE (3) 场,允许捕捉高斯函数的位置和各向异性。此外,我们提出了使用神经颜色场来提供颜色规范化和用于准确定位这些高斯函数的 3D 监督。我们通过展示 ZJU MoCap 和 People Snapshot 数据集上的令人信服的结果,证明了高斯函数散射提供了一种有趣的替代于基于神经渲染的方法,它利用了不可区分性和优化挑战,而这些挑战通常在这类方法中面临。粗放复刻范例使我们能够利用向前蒙皮,并且不会受到逆蒙皮和扭曲所带来的不确定性的影响。我们的方法对于可控的人体合成的有效性进行了强有力的证明。
Nov, 2023
用高斯散焦渲染的三角网格中嵌入了高保真度人类虚拟角色的混合三维表示,可在现代 GPU 上达到每秒 300 帧,移动设备上达到每秒 30 帧,并通过显式网格几何和隐式外观模型化人物的运动与外观。
Mar, 2024
从单目输入视频中生成可动画的人体化身的 HAHA - 一种新方法。该方法通过学习高斯喷洒和纹理网格在高效和高保真度渲染之间的权衡,表现出其效率来控制 SMPL-X 参数模型。我们的模型仅在 SMPL-X 网格中需要的区域(如头发和网格之外的衣物)应用高斯喷洒。这样可以使用最少的高斯函数来表示完整的化身并减少渲染伪影。这使我们能够处理传统上忽略的手指等小身体部分的动画。我们在两个开放数据集 SnapshotPeople 和 X-Humans 上展示了我们方法的有效性。在 SnapshotPeople 上,我们的方法的重建质量与最先进方法相当,而使用的高斯函数不到三分之一。HAHA 在 X-Humans 的新姿势上在定量和定性方面优于之前最先进的方法。
Apr, 2024
基于文本提示生成真实的 3D 人体是一项令人向往但具有挑战性的任务。本文提出了一种高效而有效的框架 HumanGaussian,通过结构感知的 SDS 和退火负向提示引导,以及适应性高斯喷洒渲染器,在细节和训练时间方面取得了优越的性能。
Nov, 2023
本研究提出了一种名为 GaussianBody 的新型服装人体重建方法,基于 3D 高斯散射模型。该方法通过显式姿势引导形变,引入基于物理的先验知识和正则化变换来解决动态人体重建过程中的非刚性变形和丰富的服装细节等问题。实验证明,该方法在动态穿着服装的人体重建方面能够实现最先进的逼真视角渲染效果,同时还能明确地重建几何结构。
Jan, 2024
提议了 ASH 方法,一种用于实时渲染动态人物的可控逼真的动画高斯样本化方法,相比其他现有的实时方法,在姿势可控的人物形象方面表现出色,与离线方法相比表现相当甚至更好。
Dec, 2023