GauHuman: 单目人体视频的关节高斯粒子渲染
该研究解决了从多视角视频中学习的逼真人体化身的实时渲染问题,通过提出了基于三维高斯散点的可动态化的人体模型,相较于现有方法,在 THuman4 数据集上呈现了 1.5dbB 更好的 PSNR,并能以 20fps 或更高的速度进行渲染。
Nov, 2023
通过 3D 高斯模糊表示 animatable 的人物及其所在的场景,以实现对动画人物的新姿势合成和人物和场景的新视图合成,并在提高渲染质量的同时,训练速度更快。
Nov, 2023
我们提出了一种名为 SplatArmor 的新方法,通过在 3D 高斯函数中将参数化的人体模型 “装甲”,从而恢复出详细的、可动画的人体模型。我们的方法将人体表示为一组位于规范空间内的 3D 高斯函数,其关节扭曲通过在规范空间内任意位置扩展底层 SMPL 几何体的蒙皮来定义。为了考虑姿势相关效果,我们引入了一个 SE (3) 场,允许捕捉高斯函数的位置和各向异性。此外,我们提出了使用神经颜色场来提供颜色规范化和用于准确定位这些高斯函数的 3D 监督。我们通过展示 ZJU MoCap 和 People Snapshot 数据集上的令人信服的结果,证明了高斯函数散射提供了一种有趣的替代于基于神经渲染的方法,它利用了不可区分性和优化挑战,而这些挑战通常在这类方法中面临。粗放复刻范例使我们能够利用向前蒙皮,并且不会受到逆蒙皮和扭曲所带来的不确定性的影响。我们的方法对于可控的人体合成的有效性进行了强有力的证明。
Nov, 2023
我们提出了基于 3D 高斯散射的 OccGaussian 方法,其可在 6 分钟内进行训练,并且以高质量 160FPS 渲染具有遮挡输入的人体场景。通过在标准空间中初始化 3D 高斯分布,并在遮挡区域进行遮挡特征查询,提取聚合的像素对齐特征来弥补丢失的信息,然后我们使用高斯特征 MLP 进一步处理特征,并结合面向遮挡区域的损失函数来更好地感知遮挡区域。大量的实验结果表明,我们的方法在模拟和真实世界遮挡场景中实现了与最先进方法相媲美甚至更优的性能,且训练和推理速度提高了 250 倍和 800 倍,我们的代码将提供给研究目的使用。
Apr, 2024
用 3D 高斯分布的先进技术在短时间内实现高保真度的动态 3D 人体重建,并提供实时渲染和交互能力。
Dec, 2023
用高斯散焦渲染的三角网格中嵌入了高保真度人类虚拟角色的混合三维表示,可在现代 GPU 上达到每秒 300 帧,移动设备上达到每秒 30 帧,并通过显式网格几何和隐式外观模型化人物的运动与外观。
Mar, 2024
从单目输入视频中生成可动画的人体化身的 HAHA - 一种新方法。该方法通过学习高斯喷洒和纹理网格在高效和高保真度渲染之间的权衡,表现出其效率来控制 SMPL-X 参数模型。我们的模型仅在 SMPL-X 网格中需要的区域(如头发和网格之外的衣物)应用高斯喷洒。这样可以使用最少的高斯函数来表示完整的化身并减少渲染伪影。这使我们能够处理传统上忽略的手指等小身体部分的动画。我们在两个开放数据集 SnapshotPeople 和 X-Humans 上展示了我们方法的有效性。在 SnapshotPeople 上,我们的方法的重建质量与最先进方法相当,而使用的高斯函数不到三分之一。HAHA 在 X-Humans 的新姿势上在定量和定性方面优于之前最先进的方法。
Apr, 2024
基于文本提示生成真实的 3D 人体是一项令人向往但具有挑战性的任务。本文提出了一种高效而有效的框架 HumanGaussian,通过结构感知的 SDS 和退火负向提示引导,以及适应性高斯喷洒渲染器,在细节和训练时间方面取得了优越的性能。
Nov, 2023
本研究提出了一种名为 GaussianBody 的新型服装人体重建方法,基于 3D 高斯散射模型。该方法通过显式姿势引导形变,引入基于物理的先验知识和正则化变换来解决动态人体重建过程中的非刚性变形和丰富的服装细节等问题。实验证明,该方法在动态穿着服装的人体重建方面能够实现最先进的逼真视角渲染效果,同时还能明确地重建几何结构。
Jan, 2024
HumanSplat 通过在单个输入图像中预测任何人类的三维高斯 Splatting 属性,以解决高度精确的人体重建技术在广泛场景中受限于图像密集捕获要求或耗时的单例优化的问题。它由 2D 多视角扩散模型和具有人体结构先验的潜在重建转换器组成,巧妙地将几何先验和语义特征融入统一框架内。进一步设计了一种包含人体语义信息的分层损失,以实现高度逼真的纹理建模并更好地约束估计的多个视角。在标准基准和野外图像上的综合实验证明 HumanSplat 在实现逼真的新视图合成方面超越了现有最先进的方法。
Jun, 2024