Human101:从 1 个视角在 100 秒内训练 100+FPS 的人类高斯分布模型
GauHuman 是一个 3D 人体模型,通过高斯飞溅实现快速训练(1 ~ 2 分钟)和实时渲染(最高 189 FPS),与现有的基于 NeRF 的隐式表示建模框架相比,后者需要几个小时的训练和每帧几秒钟的渲染。
Dec, 2023
该研究解决了从多视角视频中学习的逼真人体化身的实时渲染问题,通过提出了基于三维高斯散点的可动态化的人体模型,相较于现有方法,在 THuman4 数据集上呈现了 1.5dbB 更好的 PSNR,并能以 20fps 或更高的速度进行渲染。
Nov, 2023
通过 3D 高斯模糊表示 animatable 的人物及其所在的场景,以实现对动画人物的新姿势合成和人物和场景的新视图合成,并在提高渲染质量的同时,训练速度更快。
Nov, 2023
我们提出了基于 3D 高斯散射的 OccGaussian 方法,其可在 6 分钟内进行训练,并且以高质量 160FPS 渲染具有遮挡输入的人体场景。通过在标准空间中初始化 3D 高斯分布,并在遮挡区域进行遮挡特征查询,提取聚合的像素对齐特征来弥补丢失的信息,然后我们使用高斯特征 MLP 进一步处理特征,并结合面向遮挡区域的损失函数来更好地感知遮挡区域。大量的实验结果表明,我们的方法在模拟和真实世界遮挡场景中实现了与最先进方法相媲美甚至更优的性能,且训练和推理速度提高了 250 倍和 800 倍,我们的代码将提供给研究目的使用。
Apr, 2024
本文提出了一种从稀疏视角视频中学习动态人体神经体积视频的新方法,通过使用新的部分基于体素的人体表示法和二维运动参数化方案来提高模型的表现力和收敛速度,实验表明该模型与传统优化方法相比,在渲染质量上有竞争力,但学习速度更快。
Feb, 2023
我们提出了一种新颖的可动画化的三维高斯模型,用于实时渲染高保真度的自由视角人体动作。与现有的基于 NeRF 的方法相比,该模型具有更好的能力,在视频帧之间合成高频细节时没有抖动问题。我们的模型的核心是一种新型的增强型三维高斯表示,通过将每个高斯附加一个可学习的代码,该可学习代码作为姿态相关的外观嵌入,用于纠正由于高斯的几何变换而导致的错误外观,在此基础上,学习一种外观细化模型来产生匹配目标姿态的剩余高斯属性。为了使高斯仅学习到人体前景而不受背景干扰,我们进一步设计了一种新型的 Alpha 损失来明确约束高斯在人体内部。我们还提议共同优化人体关节参数以提高外观准确性。此可动画化的三维高斯模型可以通过浅层 MLP 进行学习,因此可以实时合成新的人体动作(平均每秒 66 帧)。实验证明,我们的模型优于基于 NeRF 的方法。
Nov, 2023
使用 HiFi4G,基于高斯的方法从密集镜头中呈现高保真度的人体表现,结合了非刚性跟踪和 3D 高斯表示,通过双图机制和 4D 高斯优化方案实现了高效的优化速度、渲染质量和存储开销。
Dec, 2023
本研究提出了一种名为 GaussianBody 的新型服装人体重建方法,基于 3D 高斯散射模型。该方法通过显式姿势引导形变,引入基于物理的先验知识和正则化变换来解决动态人体重建过程中的非刚性变形和丰富的服装细节等问题。实验证明,该方法在动态穿着服装的人体重建方面能够实现最先进的逼真视角渲染效果,同时还能明确地重建几何结构。
Jan, 2024
使用 3D 高斯喷洒(3DGS),我们介绍了一种从单目视频中创建可以动画化的人体化身的方法。通过学习非刚性变形网络和引入不同性的正则化,我们的方法在训练和推理速度上比现有的技术分别快 400 倍和 250 倍,并实现了与最先进方法相媲美甚至更好的性能。
Dec, 2023