SplatFace: 高斯分布面面片重建及其可优化表面
我们提出了一种方法,可以从 3D 高斯散点图中精确且非常快速地提取网格。该方法使用高斯散点图进行实际渲染,相较于 NeRFs 具有更快的训练速度。我们首先引入了一个鼓励高斯散点图与场景表面对齐的正则项,然后利用此对齐性通过 Poisson 重建方法从高斯散点图中提取网格,该方法快速、可扩展且能保留细节信息,与通常用于从神经隐式函数中提取网格的 Marching Cubes 算法形成对比。最后,我们引入了可选的优化策略,通过高斯散点图渲染将高斯散点图与网格表面绑定,在传统软件中通过操纵网格而非高斯散点图本身实现了易于编辑、雕刻、绑定、动画制作、合成和调光。与基于神经隐式函数的最先进方法相比,我们的方法可在几分钟内获取逼真渲染所需的可编辑网格,而不是使用数小时。同时,我们的方法提供更好的渲染质量。
Nov, 2023
本研究提出了一种名为 GaussianBody 的新型服装人体重建方法,基于 3D 高斯散射模型。该方法通过显式姿势引导形变,引入基于物理的先验知识和正则化变换来解决动态人体重建过程中的非刚性变形和丰富的服装细节等问题。实验证明,该方法在动态穿着服装的人体重建方面能够实现最先进的逼真视角渲染效果,同时还能明确地重建几何结构。
Jan, 2024
图像基于的三维重建是一项具有挑战性的任务,涉及从一组输入图像中推断出对象或场景的三维形状。基于学习的方法因其直接估计三维形状的能力而受到关注。本综述论文着重介绍了三维重建的最新技术,包括生成新颖未见视角的方法。论文提供了对高斯激波方法的最新发展的概述,包括输入类型、模型结构、输出表示和训练策略。未解决的挑战和未来的研究方向也得到了讨论。鉴于该领域的快速进展以及增强三维重建方法的众多机会,对算法进行全面的研究至关重要。因此,本研究全面概述了高斯激波最新进展。
May, 2024
通过引入低成本跨视聚集、像素级三元组融合和简单有效的自由视图训练策略,我们提出了一个能够从长序列输入中重建几何一致的 3D 场景并实现自由视图合成的新方法 FreeSplat,研究结果表明其在不同数量的输入视图下,在新视图生成的颜色贴图质量和深度图准确性方面都达到了最新水平,并且 FreeSplat 的推断效率更高,能够有效减少冗余的高斯函数,为无需深度先验的大场景重建提供了可能。
May, 2024
HumanSplat 通过在单个输入图像中预测任何人类的三维高斯 Splatting 属性,以解决高度精确的人体重建技术在广泛场景中受限于图像密集捕获要求或耗时的单例优化的问题。它由 2D 多视角扩散模型和具有人体结构先验的潜在重建转换器组成,巧妙地将几何先验和语义特征融入统一框架内。进一步设计了一种包含人体语义信息的分层损失,以实现高度逼真的纹理建模并更好地约束估计的多个视角。在标准基准和野外图像上的综合实验证明 HumanSplat 在实现逼真的新视图合成方面超越了现有最先进的方法。
Jun, 2024
我们提出了一种新的稠密同时定位与建图(SLAM)方法,该方法使用高斯斑点作为场景表示。该新的表示方法能够实时重建和真实渲染真实世界和合成场景,并通过提出新的策略来扩展高斯斑点的应用,使其从多视角离线场景扩展到顺序单色 RGBD 输入数据的设置。此外,我们还将高斯斑点扩展到编码几何并通过跟踪在此场景表示上进行实验。我们的方法在真实世界和合成数据集上实现了最先进的渲染质量,同时在重建性能和运行时间方面具有竞争力。
Dec, 2023
我们提出了一种名为 SplatArmor 的新方法,通过在 3D 高斯函数中将参数化的人体模型 “装甲”,从而恢复出详细的、可动画的人体模型。我们的方法将人体表示为一组位于规范空间内的 3D 高斯函数,其关节扭曲通过在规范空间内任意位置扩展底层 SMPL 几何体的蒙皮来定义。为了考虑姿势相关效果,我们引入了一个 SE (3) 场,允许捕捉高斯函数的位置和各向异性。此外,我们提出了使用神经颜色场来提供颜色规范化和用于准确定位这些高斯函数的 3D 监督。我们通过展示 ZJU MoCap 和 People Snapshot 数据集上的令人信服的结果,证明了高斯函数散射提供了一种有趣的替代于基于神经渲染的方法,它利用了不可区分性和优化挑战,而这些挑战通常在这类方法中面临。粗放复刻范例使我们能够利用向前蒙皮,并且不会受到逆蒙皮和扭曲所带来的不确定性的影响。我们的方法对于可控的人体合成的有效性进行了强有力的证明。
Nov, 2023
我们介绍了 Splatter Image,这是一种超快的单目三维物体重建方法,运行速度达到每秒 38 帧。Splatter Image 基于高斯颗粒化技术,该技术近期实现了实时渲染、快速训练和出色的多视角重建扩展性。我们首次将高斯颗粒化应用于单目重建领域。我们的方法基于学习,测试时只需要前馈评估一个神经网络即可完成重建。Splatter Image 的主要创新之处在于其设计意外地简单:它使用一个二维图像到图像的网络将输入图像映射到每个像素点上的一个三维高斯。因此,所得到的高斯形式呈现为一张图像,即 Splatter Image。我们进一步扩展了该方法,使用多个图像作为输入,并通过添加交叉视图注意力来实现。由于渲染器的速度(每秒 588 帧),我们可以在训练时只使用一个 GPU,在每次迭代中生成整个图像,以优化 LPIPS 等感知度量标准。在标准基准测试中,我们不仅展示了快速重建,而且在 PSNR、LPIPS 和其他度量标准方面相比最近和更昂贵的基线方法取得了更好的结果。
Dec, 2023